Meta 釋出 816B 開放模型 Muse Spark Open，攜手 Apple 實現 Mac Studio 叢集 36 tokens/s 本地推論

Meta 於 15 日釋出開放權重模型 Muse Spark Open，宣稱是目前美國性能最強的開源模型。該模型為原生多模態 MoE 架構，擁有 8,160 億（816B）總參數、420 億（42B）啟動參數，並具備 100 萬 token 脈絡視窗，主打程式設計與多步驟代理式任務。授權條款允許商業使用，權重已上架 Hugging Face、Amazon SageMaker 等平台，並支援 vLLM、SGLang、MLX 等推論引擎。 這項發布促成了 Meta 與 Apple 的罕見技術合作，由前 Apple 高管 Daniel Gross 牽線、Meta AI 負責人 Alexandr Wang 證實雙方已合作數月。兩家公司針對 Apple Silicon 進行深度最佳化，讓企業與個人研究者得以在桌面硬體上本地運行近兆參數規模的模型，降低對 NVIDIA 伺服器集群或商用 API 的依賴。 在推論規格上，Muse Spark Open 原生 BF16 精度僅參數就需要超過 1.6TB 記憶體；採用 4-bit（NVFP4）量化後模型體積降至約 493GB，加上推論中間運算後仍超出單台 512GB 限制。Apple 透過 macOS 26.2 新增的 Thunderbolt 5 低延遲 RDMA 驅動程式，在 MLX（v0.30.1 及以上）實作管線平行化（Pipeline Parallelization），將模型層拆分至 2 台搭載 M5 Ultra 的 Mac Studio 上運行；在 4 台 Mac Studio 組成的叢集中，模型解碼速度可超過每秒 36 個 token。 Apple ML Research 同步公布了單機對比數據：配備 GPU Neural Accelerator 的 M5 Ultra 晶片在矩陣乘法運算上顯著加速，大脈絡下的首字時間（TTFT）較上一代 M3 Ultra 快達 4.6 倍；統一記憶體頻寬由 819 GB/s 提升至 1.2 TB/s，推動生成速度增加 1.6 倍，整機峰值功耗約為 300W（M3 Ultra 約 200W）。此外，Mistral Medium 3.5（128B Dense，FP8）與 Qwen 3.8（27B Dense，BF16）在 65,536 token 脈絡下，則可分別佔用 158GB 與 68GB 記憶體，直接於單台 512GB Mac Studio 獨立執行。