跳到主要內容
2026-11-08 日報
模型發布

研究論文提出 D3D 解耦擴散推測解碼:支援非同步生成,Qwen3-32B 加速最高達 7.48 倍

Reddit r/LocalLLaMA單一來源
尚未逐項核實

目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。

研究論文提出名為 D3D(Decoupled Diffusion Drafting)的獨立擴散草稿模型,旨在解決傳統推測解碼中草稿生成必須等待目標模型隱藏狀態(hidden states)而導致序列化執行的瓶頸。據論文說明,D3D 結合分塊去噪(blockwise denoising)與輔助自迴歸監督(auxiliary autoregressive supervision),在不依賴目標模型隱藏狀態下產生長接受前綴,使草稿模型能在驗證階段非同步打包生成後續區塊。為降低草稿計算成本,團隊採用漸進式層剪枝技術,在以 Qwen3-8B 為目標模型時,從 36 層中剪除 5 層(保留 31 層)仍可維持 99% 以上的平均接受長度。在 7 項基準測試中,D3D 搭配 Qwen3-8B 與 Qwen3-32B 的平均解碼加速比分別達 5.00 倍與 5.71 倍,高於基準方法 DFlash 的 4.03 倍與 3.67 倍;在 GSM8K 基準測試搭配 Qwen3-32B 時,加速比最高達 7.48 倍。目前團隊已在 GitHub 與 Hugging Face 釋出原始碼、6 款基於 Qwen3 剪枝或未剪枝的草稿模型權重(包含 D3D-1.7B-8B、D3D-31D-p8B-8B、D3D-24D-p1.7B-32B 等),以及涵蓋 Qwen3 系列與 Gemma-4 系列、每批約 142 萬筆樣本的 Open-PerfectBlend 微調訓練資料集。
讀原始報導
相關主題