Sand.ai 開源 114B 參數 MoE 影片生成模型 MAGI-2-preview，單次推論僅啟動 6B

據報導，AI 團隊 Sand.ai 宣布開源千億參數級別的 MoE 影片生成模型「MAGI-2-preview」，並釋出完整程式碼與權重。 該模型總參數達 114B，透過 MoE 架構，單次前向推論僅需啟動約 6B 參數。據悉，若以 8 張 H100 GPU 的當前算力行情計算，生成一段 10 秒 1080P 影片的成本約為 0.5 元人民幣，僅為產業主流模型的十分之一。在效能表現上，MAGI-2-preview 目前在 AA 影片生成 Benchmark 榜單中排名第六。 在架構設計上，MAGI-2-preview 採用單流架構（Single-stream architecture），讓文本、影片與音訊進入同一個 Transformer，從第一層自注意力機制起便直接交換資訊，實現音畫共同建模。模型導入 Multi-Head LatentMoE 技術，將 3072 維的隱藏表示拆分為 12 個 256 維的 head 進行獨立路由。在其 36 層主體網路中，每層設有 3072 個獨立專家單元，每個 token 在每個 head 內選擇 6 個專家，合計啟動 72 個小專家，專家細分程度遠超當前主流 MoE 模型。 為解決影片長序列帶來的跨卡通訊瓶頸，Sand.ai 自研 MagiMoE kernel 函式庫，將路由、排序與專家計算整合以減少記憶體搬運。同時重新設計 Head Parallel 平行策略，在路由發生前即按 head 分配計算，使通訊量不隨啟動專家數量波動。此外，模型訓練採用混合最佳化器設計，矩陣參數使用 Muon，專家參數則使用 AdamW 進行更新。