跳到主要內容
2026-11-02 日報
研究與評測

開源補丁 tandem.cpp 加速 MoE 推論:單張 RTX 4090 跑 Qwen3.8 達 97 tok/s,較 llama.cpp 提升 3.3 倍

Reddit r/LocalLLaMA單一來源
尚未逐項核實

目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。

開發者在 Reddit 社群釋出名為 tandem.cpp 的開源補丁集,針對無法完全塞入顯示卡記憶體(VRAM)的 MoE 模型最佳化 llama.cpp 的單使用者解碼推論速度。該方案的核心機制是將使用頻率最高的專家權重保留在 GPU VRAM 中,其餘專家則交由 CPU 協同運算。 根據作者公布的未經獨立驗證測試,在消費級硬體(Intel i5-12400F、64 GB DDR4、單張 RTX 4090)執行 GSM8K 基準測試:Qwen3.8-Flash-Next(IQ3_S + MTP)的 greedy 解碼速度自 llama.cpp 原版的 29.8 tok/s 提升至 97.3 tok/s(3.3 倍速),預設取樣下亦達 96.1 tok/s;做為對照,精確計算所有專家的 Strata 速度為 103.6 tok/s(若採用 Strata 預設跳過低權重專家的近似模式可達 127.1 tok/s)。此外,在 gpt-oss-120b 模型上,tandem.cpp 的 greedy 解碼為 51.5 tok/s,達原版 1.85 倍。 作者指出該實作雖主要針對 Qwen3.8 最佳化,但對其他無法完全載入 VRAM 的 MoE 模型(如 GLM-4.5-Air、Qwen3.6-35B-A3B、DeepSeek-V4.1)亦有 1.4 至 2.1 倍的加速,且在 64k 長度的提示處理(prompt processing)速度可提升 1.4 至 1.8 倍。該專案為獨立開發,並未隸屬於 ggml 官方組織,程式碼已發布於 GitHub。
讀原始報導

背景

混合專家架構(MoE)是一種機器學習技術,透過多個專家網路將問題空間劃分為多個同質區域,屬於集成學習的一種形式。此架構能大幅減少模型在預訓練時所需的運算資源,讓開發者在相同的運算預算下顯著擴充模型或資料集的規模。

來源

本期分類