跳到主要內容
2026-10-16 日報
模型發布

llama.cpp v0.7.0 發布:新增 MoE 專家 GPU 快取(解碼最高約 2.2 倍)與 LiliCorr 推測解碼,並擴充多款模型支援

GitHub ggml-org/llama.cpp一手來源
核實資料不足

來源為發布方或研究資料;不代表所有主張已獲獨立核實。

本次未取得足夠原文證據

llama.cpp 發布 v0.7.0,主要新增主機記憶體 MoE 專家的 GPU 快取(參數 `--moe-cache-mib`),專家從 LRU 快取在 GPU 上執行,卸載專家時解碼速度最高約提升 2.2 倍,多 GPU 下也可共用此快取(PR #29887、#30112)。推測解碼方面,新增基於 DFlash 的 LiliCorr 技術,以小型草稿 Transformer 進行候選選擇;GLM5-Next 則支援 MTP 推測解碼並加入最佳化的稀疏注意力路徑(PR #30506、#29928)。 模型支援大幅擴充,包括 K2 Horizon(dense 與 MoVA 兩種變體)、Prism Bonsai 2 27B 三元模型、EmbeddingGemma-2(文字、視覺、音訊嵌入)、MiniCPM-V 4.7、Nemotron Super 3.5 VL 與 Nemotron Bolt 74B A9B、maion-coder 架構,以及 LiquidAI d1-3B、d1-omni-600M、vLLM decision 2 與 d3、pplx-decider 等決策模型。RPC 伺服器也支援 `-sm tensor` 張量並行(RPC 協定升至 v8)。 伺服器端,聊天層以 `common_chat_session`(含 `feed()` 與 `finish()`)重構,格式化輸出改為 parts 陣列,並預設監聽埠 9931(先前為 8080;Docker 映像檔內部仍維持 8080)。網頁介面新增完整模型管理器,ggml 更新至 v0.27.0。 以上資訊來自單一來源(GitHub 發布頁),官方未另提供佐證;2.2 倍為專家卸載情境下的最高值,實際加速依硬體與模型而異。
讀原始報導

背景

LiLiCorr 是投機解碼(speculative decoding)中的草稿候選選擇方法。根據 vLLM 文件,它以 DFlash 為骨幹為每個位置產生候選,再由學習得到的相關器(correlator)為候選組合打分。DFlash 是一種輕量的區塊擴散(block diffusion)模型,可在單次前向傳遞中平行產生草稿 token。

這則事件的發展

  1. 2026-10-12Reddit 使用者稱 llama.cpp 合併 probabilistic MTP 解碼改進,文字生成速度提升約 14%
  2. 2026-10-08llama.cpp 提交 PR 為主機記憶體中的 MoE 專家新增 GPU 快取,有望提升 VRAM 不足時的推論速度
  3. 2026-10-07llama.cpp 提交 PR 引入 -sm tensor 參數,透過 RPC 支援跨機器張量平行運算
  4. 2026-10-06llama.cpp 釋出 v0.6.0,支援 Qwen4Exp 的 MTP 推測解碼

來源