研究與評測
騰訊發表 DSpine 投機解碼架構:採跨層因果注入,SGLang 吞吐量提升 23.3%
Reddit r/LocalLLaMA單一來源
尚未逐項核實
目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。
據騰訊團隊發布的論文預印本,其提出針對投機解碼(Speculative Decoding)的新型草稿架構 DSpine,旨在解決平行草稿生成時因 Token 獨立選取造成前後文不連貫、進而縮短接受長度的問題。DSpine 在主幹網路的每一層引入門控相鄰注入(gated adjacent injection),將前一個 Token 的預測特徵寫入後續位置,使因果條件鏈隨著網路深度展開,同時維持所有位置平行更新;此外,該架構利用目標模型的輸出嵌入建立統一轉換空間,並藉由層級輸出嵌入監督促進淺層特徵預測。在工程部署方面,DSpine 於推論引擎 SGLang 中以融合核心(fused kernels)與轉換快取(transition cache)實現高效平行執行。測試數據顯示,在涵蓋數學、程式碼與對話的 7 項基準測試中,DSpine 於 Qwen3-4B 與 Qwen3-8B 均取得最長接受長度;在 Qwen3-8B 且 temperature 設為 0 的環境下,7 項測試的平均接受長度自 DFlash 的 3.77 增至 4.82(成長 27.8%),SGLang 線上推論吞吐量亦較 DFlash 平均提升 23.3%。相關程式碼與權重已於 GitHub 與 Hugging Face 公開。
讀原始報導