模型發布
NVIDIA 上架 DeepSeek-V4.1-Flash-1017 NVFP4 量化版:552B MoE 模型壓縮至 400 GiB,適配 Blackwell
HF @nvidia一手來源
尚未逐項核實
來源為發布方或研究資料;不代表所有主張已獲獨立核實。
NVIDIA 在 Hugging Face 發布由 Model Optimizer(nvidia-modelopt v0.48.0rc0)量化的 DeepSeek-V4.1-Flash-1017-NVFP4 模型權重,開放商業與非商業用途。該模型以 DeepSeek-V4.1-Flash-1017 為基礎,採用結合因果編碼器-解碼器(CED)與壓縮稀疏注意力 2(CSA2)的原生多模態 MoE 架構;主幹參數量達 552B,另含 196B Engram 條件記憶體,推論時 prefill 階段僅啟動 8B、decode 階段啟動 16B,支援最長 100 萬 token 上下文與文字及影像輸入。
量化規格方面,模型將 40 層、384 個路由專家的權重與激勵值轉換為 NVFP4(W4A4,group size 16,涵蓋 w1、w2、w3 投影),Engram 查表則自 FP8 轉為 MXFP4;注意力、共享專家、視覺及 MTP 等模組則維持原始精度(包含 MXFP8)。全數 16,986,931,200 個專家權重塊皆完成無損轉換,整體模型容量自原版約 475 GiB 縮減至約 400 GiB,拆分為 48 個 safetensors 檔案。
部署限制方面,此版本專為 NVIDIA Blackwell 微架構設計,官方於 4 張 GB300 GPU 進行實測。推論引擎雖支援 vLLM,但因 Engram 查表採 MXFP4 格式,原生 vLLM 映像檔無法直接載入,必須使用合併 PR #61530 的客製分支版本(官方測試環境為 vLLM v0.31.0 補丁版),且目前尚未驗證 SGLang 的相容性。
讀原始報導