跳到主要內容
2026-11-01 日報
研究與評測

推論引擎 Basalt 開發者實測 MoE 加速策略代價:Routing bias 與 Tail skip 雖提速 56%,但 Q8 精度劣化至遜於 Q2

Reddit r/LocalLLaMA單一來源
尚未逐項核實

目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。

推論引擎 Basalt 開發者於 Reddit 社群發布未經獨立驗證的實測數據,量化評估開源推論引擎常見的 MoE 加速策略對模型品質的具體損害。測試針對兩項技術:Routing bias(引導模型優先挑選已在 VRAM 內的專家)與 Tail skip(直接略過未在 VRAM 內的次要專家,避免自 RAM 載入)。實驗以 Qwen 3.8 Flash Next 模型進行,硬體配置為 RTX 5090、RTX 5060 Ti 及 128 GB DDR5,對照基準為 llama.cpp 的 Q8_0。 在 wikitext 解碼測試中,開啟常見引擎預設的「Shipped」參數(bias 1.5、skip rank ≥ 7)後,Q8_0 的困惑度(PPL)從基準的 3.276 暴增至 4.221,KLD 達 0.401,品質劣化程度比完全未經加速修改的極限壓低量化版本 Q2_0(PPL 3.949、KLD 0.436)更差;NVFP4 精度的 PPL 也自 3.304 升至 3.931。 在實務任務評測方面,包含 300 步鏈式推理(Ladders)與 1200 題事實問答(Facts):大顯示卡環境下,NVFP4 啟用加速參數後的推論速度完全未增加(維持 271 至 272 tok/s),反而損失約 4% 的事實召回能力。將 RTX 5090 限制在 16GB VRAM 模擬較小顯示卡時,IQ3_S 雖藉由加速策略提升 56% 速度(從 192 tok/s 增至 299 tok/s),但多步推理得分從 44.1 跌至 38.9(淨損 5.2 分),事實得分亦由 36.7 降至 34.3。若採用極端加速設定(Worst),事實問答得分則直接自 38.1 崩跌至 2.7。
讀原始報導
本期分類