模型發布
NVIDIA 釋出 Kimi-K3.1-Pro NVFP4 量化版,2.8T 多模態 MoE 六項評測與原權重差距皆在 0.5 分內
HF @nvidia一手來源
核實資料不足
來源為發布方或研究資料;不代表所有主張已獲獨立核實。
本次未取得足夠原文證據
NVIDIA 在 Hugging Face 上架 nvidia/Kimi-K3.1-Pro-NVFP4,是 Moonshot AI Kimi-K3.1-Pro 的 NVFP4 量化版本。基礎模型為原生多模態 MoE,總參數 2.8T、每次活化 104B,上下文視窗 1,048,576 tokens,可接受文字與圖像輸入(圖像由 MoonViT-V2 編碼),輸出為文字。量化工具為 NVIDIA Model Optimizer(nvidia-modelopt v0.48.0),版本標示為 NVFP4 1.0。
量化方式:來源 checkpoint 權重為 MXFP4。路由專家(routed experts)權重由 MXFP4 轉為 NVFP4,input_scales 設為 1.0;共享專家與 KDA 注意力量化為 MXFP8,激活值縮放在運行時動態學習;MLA 層保留 BF16 以維持精度。
模型卡所載評測(測試硬體為 NVIDIA Blackwell GB300,溫度 1.0、top-p 0.95)顯示,NVFP4 與 MXFP4 版本差距很小:GPQA Diamond 為 93.84 對 93.97,AA-LCR 為 82.06 對 81.69,IFBench 同為 73.40,MMMU Pro 為 81.79 對 81.68,SciCode 為 59.47 對 59.52,TB2.1 為 87.78 對 88.20。模型卡另提到使用 Kimi Vendor Verifier 驗證,但文中未附結果。
部署方面,模型卡建議以 vLLM 官方 Docker 映像 vllm/vllm-openai:kimi-k31-cu134 啟動,張量平行設為 8,最大模型長度 1,048,576;列出的支援硬體為 Blackwell,作業系統為 Linux。
授權方面,NVFP4 版依 NVIDIA Open Model Agreement 提供下載,模型卡標示可商用與非商用;基礎模型另受 Kimi-K3.1-Pro License 規範。模型卡也註明此模型並非 NVIDIA 自行開發,而是依第三方需求建置。模型卡標示的發布日期為 11/10/2026。
讀原始報導背景
NVIDIA Model Optimizer 是一套統一的模型優化函式庫,提供訓練後量化(post-training quantization)與量化感知訓練(quantization-aware training)等技術,用來壓縮模型。這則新聞中的 NVFP4 版本即是以此工具量化而成。