跳到主要內容
2026-11-14 日報
模型發布

nace.ai 釋出 Qwen 系列量化 GGUF:稱採權重空間編程使 KL 散度提升達 2 倍

Reddit r/LocalLLaMA單一來源
尚未逐項核實

目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。

開源團隊 nace.ai 成員於 Reddit 的 r/LocalLLaMA 看板發布基於 Qwen 9B、27B、35B 與 Flash-Next 的 GGUF 量化權重,宣稱其 KL 散度(KL divergence)表現較 Unsloth 與 EXL3 等現有方案提升最高達 2 倍,目前該成果屬社群單方發布,尚未經外部獨立驗證。該技術借鏡「權重空間編程」(Weight-Space Programming)研究,讓 Astra、Fable、Carbon 等代理原生讀取並修改較小模型的權重,藉由演算法提議張量精度變更、量測 KL 散度後決定保留或復原,以此取代傳統的暴力爬山演算法。在 128K 上下文長度的 Top-1 準確率測試中,9B Q3_K_XL 規格在 4.70 GB 大小下達到 90.5%,對照組 Unsloth 則為 5.38 GB;27B(17.3 GB)為 97.7%、35B Q3_K_S(15.3 GB)為 91.2%、Flash-Next(93 GB)為 93.0%。KL 散度實測顯示,9B IQ2_M(3.36 GB)在文章、對話與程式碼指標分別為 0.401、1.30 與 0.142,體積小於次佳者 Unsloth 的 4.01 GB。作者指出該方法向超大模型擴展的效果略有遞減,正式論文仍在撰寫中。
讀原始報導
相關主題