Meta 開源 Muse Spark Open：816B MoE 程式設計模型，1M context，於 GB300 NVL72 最高達 600 tokens/秒/用戶

Meta 推出 Muse Spark Open，這是一款針對程式設計最佳化的 816B 參數混合專家（MoE）模型，每個 token 僅活化 42B 參數，上下文視窗達 100 萬 token，可容納整個專案、複雜依賴與數千個檔案。據 NVIDIA 開發者部落格介紹，此模型在 NVIDIA GB300 NVL72（Blackwell Ultra）上訓練，目標為代理式程式設計工作流程，宣稱首次嘗試準確率更高、工具呼叫更可靠，並具備跨儲存庫的程式碼理解能力。路由上每個 token 選取 256 個專家中的 8 個。 作為推理模型，Muse Spark Open 在圖像與文件理解之外，新增音訊與影片感知，可在單一流程中同時處理文字、圖像、影片幀與音訊，適用於截圖、架構圖、錯誤日誌與影片教學混合的開發場景。功能上另包括多模態網頁搜尋、子代理（subagent）調度，以及跨桌面、行動裝置與瀏覽器的電腦操作能力，並會在每個動作前產生說明。 在效能方面，NVIDIA 表示在 GB300 NVL72 上執行代理式工作負載，可達每 GPU 每秒最高 50K（單位原文未註明，應為 tokens）、每位用戶每秒最高 600 tokens；此數據為 NVIDIA 所述的「開箱即用」結果，未附測試條件。NVL72 的 72 顆 GPU 以 NVLink 連接，頻寬 130 TB/s。Meta 另產出 NVFP4 權重，以原生 FP4 Tensor Core 加速，縮小記憶體佔用並釋出空間給更大的 KV cache。 部署方面，支援 SGLang、vLLM 與 TensorRT LLM，NVIDIA Dynamo 提供三者的部署配方，並將 prefill 與 decode 分離至不同 GPU 池，並以 KV cache 感知路由降低長上下文重算。微調可使用 NeMo AutoModel（支援全參數 SFT 與 LoRA，免模型轉換），若要大規模訓練則可透過 Megatron Bridge 轉為 Megatron 格式。權重可從 Hugging Face 下載，正式部署可使用 NVIDIA NIM 容器自動選擇後端與精度。