跳到主要內容
2026-11-18 日報
模型發布

NVIDIA 發布 Qwen3.8-Flash-Next-NVFP4-QAD:混用 NVFP4 與 MXFP8,在 GB300 驗證接近 BF16 水準

HF @nvidia一手來源
尚未逐項核實

來源為發布方或研究資料;不代表所有主張已獲獨立核實。

NVIDIA 在 Hugging Face 釋出 Qwen3.8-Flash-Next-NVFP4-QAD 實驗性混合精度量化感知蒸餾(QAD)檢查點,權重檔案總計約 129.7 GB(120.8 GiB),模型包含凍結的視覺編碼器、PLE n-gram 嵌入與 MTP 模組。該版本採用比標準 NVFP4 更激進的量化策略:除 48 組 MoE 路由專家外,144 個共享專家線性矩陣亦量化為 NVFP4(區塊大小 16)並參與訓練;180 個 GDN 投影與 48 個 QSA q/k/v/o 投影則量化為 MXFP8(區塊大小 32)訓練;QSA 索引器、PLE 嵌入與 MTP 則分別凍結在 MXFP8、FP8 E4M3 與 BF16。 訓練架構使用 64 卡 FSDP2 與純文字資料進行,以凍結的 BF16 原版模型為教師,學生模型以偽量化搭配浮點主權重訓練;全域批次大小為 512 序列、最大長度 16,384 tokens,在完成 100 次優化器更新(學習率 1e-5 至 1e-6)後導出推論權重。在跨 28,924 個評分位置的導出驗證中,平均絕對對數機率誤差為 1.21e-6,Top-1 一致性達 99.25%。 官方基準實測顯示,QAD 模型整體表現與 BF16 原版互有增減,統計上並未確立全面優於 BF16:GPQA-Diamond 準確率為 91.60%(BF16 為 92.05%)、IFBench 為 79.93(BF16 為 79.60)、SciCode 子任務成功率為 51.11%(BF16 為 50.22%)、AA-LCR 為 77.13%(BF16 為 77.81%)、MMMU-Pro 為 77.34%(BF16 為 77.75%),Terminal-Bench 2.1 native pass@1 則皆為 85.96%。評測全程將 MTP 停用且 KV 快取維持 BF16。 在推論部署方面,該模型已在 NVIDIA GB300 硬體上完成驗證,依賴原生 Blackwell 核心、vLLM 0.30.0、4 路張量平行(TP4)與專家平行(EP),並需搭配官方 serving 輔助工具處理 MXFP8 輸出填充裁切與稀疏索引器原則。
讀原始報導