QUASAR 開源 Qwen3.5-4B、Gemma 4、Muse Glimmer 30B 的 4-bit QAT 檢查點，作者稱 KL 散度優於官方量化版

QUASAR 團隊在 Reddit 發文，宣布為 Qwen3.5-4B、Gemma 4 E4B 與 12B、Muse Glimmer 30B 訓練 QUASAR 量化檢查點，接續兩個月前發布的 NVFP4 Qwen3.8-27B。各模型提供 vLLM 用的 NVFP4 格式，以及 llama.cpp、Ollama、LM Studio 用的 Q4_0 GGUF 格式，程式碼與專案頁同步公開。作者表示，方法是量化感知蒸餾：以原始 BF16 模型為教師，讓量化後的模型學習教師自身的回應，匯出格式為標準格式，無需自訂核心或轉換步驟。 作者提供的留出提示詞 KL 散度（越低越接近 BF16）顯示：Muse Glimmer 30B NVFP4 為 0.0183，低於 NVIDIA NVFP4 的 0.0300；Gemma 4 12B W4A16 為 0.034，低於 Google QAT 的 0.044；Gemma 4 E4B Q4_0 GGUF 為 0.044，低於 Google QAT 的 0.088；Qwen3.5-4B NVFP4 為 0.0181，低於 cyankiwi AWQ 的 0.0419。但 Muse Glimmer 30B Q4_0 GGUF（0.0213）與 Meta Q4_K_M（0.0228）差距很小，Qwen3.5-4B Q4_0 GGUF 的 0.235 也只略低於 bartowski Q4_0 的 0.284。 基準方面，作者稱 Muse Glimmer 30B NVFP4 的 GPQA-Diamond 為 63.6（BF16 為 62.1）、MMLU-Pro 為 83.3（83.1）、AIME'25 為 90.0（86.7），並在 RULER 32K、64K、128K 上與 BF16 相當。Qwen3.5-4B NVFP4 的 AIME'25 為 74.2、GPQA-Diamond 為 77.9，為所測 4-bit 版本中最高。Gemma 4 E4B 與 12B 在所測下游基準上高於 Google QAT；作者另稱 E4B 在 H100 上批次吞吐量提升 36%，該組使用 vLLM 的 Machete 核心。 另據 Qwen3.8-27B NVFP4 的 Hugging Face 模型卡，該版本以 loss-aware NVFP4 量化感知蒸餾訓練一個 epoch，global batch size 為 32，學習率 1e-6，共 2446 步；作者稱其 496 個線性層全部採 W4A4，GPQA-Diamond 為 90.9（BF16 為 91.4），模型大小 19.7 GB。 以上數據皆由作者自行量測，尚未經獨立第三方驗證。