跳到主要內容
2026-11-15 日報
模型發布

開發者開源 Qwen3 的 2.7-bit Leech 格子量化實作,MMLU 評測擊敗 IQ2_S 但推論速度落後

Reddit r/LocalLLaMA單一來源
尚未逐項核實

目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。

一名獨立開發者在 Reddit 社群公開基於高通 Leech 格子量化論文(LLVQ,arXiv:2603.11021)的開源實作,釋出 Qwen3 4B、8B 及 14B 模型的 2.7-bit 量化權重與專用推論核心。該技術將 24 個權重一組映射至 24 維 Leech 格子的最近點,編碼為 48-bit 代碼(平均每權重 2 bits),加上縮放表與 int4 嵌入層後,整體模型體積落在 2.70 至 2.73 bits per parameter。解碼器由 Rust 撰寫並搭配 NVRTC 執行階段編譯的自研 CUDA 核心,在矩陣向量乘法(matvec)期間直接讀取 48-bit 代碼而不構建稠密矩陣,單個 token 僅需一次 CUDA launch。 根據開發者在單張 NVIDIA L40S 顯示卡上的實測,校準集統一採用 dclm-edu 時,該量化版在多項基準測試全面勝過 llama.cpp 相當體積的 IQ2_S(2.69 至 2.82 b/param):MMLU 5-shot 評測在 4B、8B 和 14B 分別領先 9.1、4.1 與 2.9 分;GSM8K 在 4B 與 8B 分別領先 14.3 與 3.0 分(14B 則打平);WikiText-2 困惑度達到 12.58、9.71 與 8.44,均優於 IQ2_S 的 16.78、10.75 與 9.47。在跨尺寸顯存對比中,2.7-bit 的 8B 模型在 MMLU 上比 4-bit AWQ 的 4B 模型高出 1.44 分,14B 模型亦比 8B AWQ 高出 1.87 分且節省 1 GB 顯存,但兩者在 GSM8K 推理表現上均與小尺寸 AWQ 持平。 然而,該實作目前推論速度顯著落後於成熟框架。實測顯示 llama.cpp 的 IQ2_S 在短提示詞解碼速度上分別比其快 60、64 與 34 tok/s,且差距在長文本上下文依舊存在。相較於 FP16 原版模型,2.7-bit 量化在 4B 上使 MMLU 與 GSM8K 各損失 6.8 與 9.6 分,不過在 14B 上性能損失已收窄至約 3 分。目前相關權重檔案已發布於 Hugging Face,相關評測數據仍屬社群獨立測試,尚未獲得第三方基準大規模複驗。
讀原始報導