跳到主要內容
2026-11-08 日報
研究與評測

社群實測 Qwen3.8 27B 量化:8-bit KV Cache 記憶體砍半近乎無損,4-bit 長文本誤差劇增 30%

Reddit r/LocalLLaMA單一來源
尚未逐項核實

目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。

開源社群進行獨立評測,測試 Qwen3.8 27B 在 llama.cpp、ExLlamaV3 與 vLLM 推論引擎下,KV Cache 量化對模型輸出機率分佈(KL 散度)的具體影響。測試涵蓋 35 種權重量化組合,並採用包含代理工具呼叫在內、上下文長度達 64k token 的評測資料集。 在 64k token 上下文環境中,原始 16-bit(f16/bf16)快取每 token 佔 64 KiB,總計佔用 4.00 GiB 記憶體。測試顯示 8-bit 量化極具效益:llama.cpp(q8_0)與 ExLlamaV3 降至 34 KiB/token(2.13 GiB),vLLM(fp8_e4m3)降至 32 KiB/token(2.00 GiB),在省下約 2 GiB 記憶體的同時,llama.cpp 與 ExLlamaV3 的 KL 散度幾乎與未量化無異。 相較之下,4-bit 快取(18 KiB/token,共 1.13 GiB)雖然能省下 2.9 GiB 記憶體,但會對 ~Q8 等高精度權重造成顯著精度衝擊,且劣勢會隨長度增加而放大,在 16k–32k token 區間產生的額外 KL 散度比前 4k token 高出 15% 至 30%,測試者並不建議採用。此外,測試亦發現 vLLM 檢查點的表現受 activation 量化拖累,若改用 Marlin kernel 並將 activation 保持在 bf16,NVIDIA NVFP4 的 KL 散度可從 0.0256 降至 0.0117,FP8 則從 0.0039 降至 0.0028。
讀原始報導
本期分類