開源工具 Dynamic Quantiser 釋出：無須校準資料即可自訂 GGUF 動態量化，精準度優於標準 K 量化

據 Reddit 社群消息，開發者釋出免費開源工具 Dynamic Quantiser，允許使用者針對任何相容 llama.cpp 的 GGUF 檔案（bf16/f16/f32）製作自訂大小或品質的動態量化模型。該工具不需要校準資料，僅依賴 GGUF 檔案與 llama.cpp，透過預先計算並使用 Dinkelbach 演算法與拉格朗日內部迴圈（Lagrangian inner loop），在張量（tensor）層級為每個權重選擇最佳量化級別，以最小化全模型的餘弦偏差（Cosine deviation）。 系統提供三種最佳化模式：在給定檔案大小下最小化全模型餘弦偏差（最精確的張量級別解決方案）、在層或群組級別最小化餘弦偏差，以及在固定餘弦偏差下最小化磁碟佔用空間。據開發者針對 Qwen 3.8 27b 進行的實測，其精準度顯著優於標準 Qx_K_M 量化；與 Unsloth 動態量化相比，在純文字（WikiText）測試中不及 Unsloth，但在混合資料集（Bartowski's calibration v5）上表現相近，甚至在部分量化級別超越 Unsloth 3.0。 開發者也指出目前的限制：程式碼由 AI 輔助編寫且僅在 Windows 環境測試，使用者必須先下載完整的 bf16 模型檔案，且初始建立對照表耗時較長，在 Ryzen 5 3600 處理器上處理 53GB 檔案約需 25 分鐘。