模型發布
開源量化編譯器 LookAtMyQuant 釋出:Qwen3.8-27B 壓至 7.2GB 表現不減,Inkling-2-Mini 僅需 5.4GB 記憶體
Hacker News單一來源
核實資料不足
目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。
本次未取得足夠原文證據
開源量化編譯器 LookAtMyQuant 以 MIT 授權發布,該編譯器藉由衡量模型各區塊壓縮時對輸出的損耗,在指定大小預算內選取最佳編碼。其量化技術採用網格編碼(trellis codes),依 Fisher 資訊按列分配位元,並以自身解答且數字標元權重放大 10 倍的資料校準,再進行 4,000 步逐層重重量化的蒸餾程序,單次 GPU 耗費約 34 美元。
在 Gemma 4 E2B 上,同檔案大小下其 GGUF 的 KL 散度較 Q4_K_M 降低 12 倍。Qwen3.5-4B 壓縮至 1.23 GB(2.3 bpp)後,在 540 道數學題中答對 330 題(原版 359 題),優於 Prism ML Bonsai 2 Ternary 4B(1.20 GB 答對 328 題)。Qwen3.8-27B 則從 53.7 GB 壓至 7.2 GB(2.1 bpp),數學題答對 401 題維持原版水準,大幅超越同大小 Unsloth UD-IQ2_XXS GGUF 的 348 題,並在 HumanEval(73.8% vs 67.1%)、MMLU(78.8% vs 75.0%)與 GSM8K(94.5% vs 92.7%)均全面領先;搭配 1.02 GB 的 4-bit DSpine 投機解碼器可使解碼速度翻倍。
針對 26.4B 物理參數量(5.4B 活躍)的 MoE 模型 Inkling-2-Mini,該編譯器結合 SQYFR 近端微調與原生 NVFP4 直通,推出 4 款 Apple Silicon MLX 版本:12.76 GB 版在縮減 32.5% 文字記憶體下,完整維持 BF16 教師模型 100% 跑分(GSM8K 96.5%、HumanEval 92.7%);8.87 GB 版保留 99.2% 的 3 項任務平均跑分;極限壓縮的 5.38 GB 版(1.65 bpp)取得 88.0% GSM8K 與 70.7% HumanEval,綜合維持原版 89.2% 水準,超越 7.76 GB 的 UD-IQ1_S。在 Apple M5 Max 上,5.4 GB 版本占用 5.98 GB RAM,預填速度達 1,807 tok/s,搭配 178.9 MB DSpark drafter 投機解碼中位數達 124.4 tok/s。
讀原始報導背景
網格編碼量化(Trellis Coded Quantization, TCQ)是一種多維量化技術,近期如 QTIP 等研究利用此方法實現超高維度量化,以提升壓縮時的資訊保留度。開源量化編譯器 LookAtMyQuant 則進一步將網格編碼等技術導入模型壓縮流程,藉由評估各區塊對輸出造成的損失來配置位元,以在特定記憶體限制下大幅降低模型失真。
社群討論
社群普遍對該專案宣稱的成效持強烈懷疑,指出 5.4 GB 版本的 KL 散度(0.0895)表現甚至劣於 Unsloth 的 UD-IQ1_S(0.0808),並質疑對原本就是 QAT 的模型再次量化意義不大且 README 混亂。實測效能與相容性則出現兩極分歧:目前釋出檔案多限於 Apple Silicon/MLX 架構,有用戶反映在 AMD R9700 上速度僅有 Qwen 27B 的三分之一,但亦有使用者回報在筆電 RTX 4060 能跑出約 6.7 tok/s(達 Qwen 的兩倍速),且有留言提及第三方引擎推論速度可突破 100 tps。