跳到主要內容
2026-11-05 日報
研究與評測

SpecPilot 以自動化代理迴圈優化投機解碼:單請求加速比由 4.46× 提升至 10.87×

Reddit r/LocalLLaMA單一來源
核實資料不足

目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。

本次未取得足夠原文證據

論文 SpecPilot 針對平行草稿模型(parallel drafter)的投機解碼提出自動化演算法與系統優化框架。作者指出,既有釋出的系統(stock)未必能達到平行草稿所允許的完整加速,並歸納三項挑戰:單一請求時每步接受的 token 很少,卻要讀取所有目標模型權重;批次推論時,每個請求的驗證工作量約使相對於自回歸(AR)解碼的加速減半;投機解碼又高度依賴部署環境,沒有單一最佳化方案適用於所有服務情境、草稿模型、目標模型與 GPU。 為此,作者提出 SpecPilot,一個自主代理迴圈(agentic loop),針對每個部署環境探索演算法與系統優化。每一輪中,成本模型找出目前系統與其理論上限之間最大的差距,多個平行代理探索方向並整合有效者,「token forcing」則將每個輸出 token 與 stock 比對,以偵測獎勵駭客(reward hacking)。結構化記憶會把已驗證的機制帶入後續輪次與其他部署。 SpecPilot 找到的優化包括:通用且無損的 12-bit 權重格式、針對混合循環(hybrid recurrent)目標模型的樹狀驗證、兩級驗證,以及三種批次機制。評測涵蓋四種目標模型、三種草稿模型、兩個 GPU 平台與五個基準測試。依論文摘要,單請求時相對 AR 解碼的加速比由 stock 的 4.46× 提升至 10.87×,批次情境由 1.94× 提升至 3.93×。 注意:此消息目前僅見單一來源(Reddit 轉貼),數據來自論文摘要,尚未經獨立複現驗證。
讀原始報導

背景

投機解碼(speculative decoding)是一種加速大型語言模型推論的方法,會先用較小的草稿模型(draft model)提出候選 token,再由目標 LLM 驗證這些 token。PEARL 等研究進一步提出平行投機解碼與自適應草稿長度的做法。

來源