跳到主要內容
2026-10-12 日報
研究與評測

Reddit 使用者稱 llama.cpp 合併 probabilistic MTP 解碼改進,文字生成速度提升約 14%

Reddit r/LocalLLaMA單一來源
核實資料不足

目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。

本次未取得足夠原文證據

據 Reddit r/LocalLLaMA 貼文,llama.cpp 已合併 probabilistic MTP 解碼改進;發文者建議使用者更新 llama.cpp,並稱文字生成實測速度提升約 14%。貼文表示,最佳 draft-n-max/draft-p-min 設定似乎接近 greedy sampling,主要收益出現在一般 prose 生成。相關測試是在關閉 thinking 與 ngram-mod 的條件下進行;目前僅有單一 Reddit 來源,未獲其他來源佐證,數據仍屬未驗證說法。
讀原始報導

背景

llama.cpp 的 speculative decoding 可搭配 draft model,並能設定 draft model 使用的 GPU layers。文件指出,draft model 儲存在 VRAM 的層數可設定為精確數值、`auto` 或 `all`,預設值為 `auto`。

來源

本期分類