模型發布
德國開源主權模型Soofi S
iThome
德國研究聯盟Soofi-Team公布Soofi S 30B-A3B，採用Mamba–Transformer MoE架構，每個token僅啟動30億參數，主打英德雙語、長文本推理與AI代理能力。團隊表示，其在4K至256K上下文長度下可維持平穩吞吐量，英德文程式撰寫與數學評測亦有領先表現。除模型權重外，訓練檢查點、程式碼、超參數、語料庫統計與資料建構腳本均已開放，英文版可自Hugging Face取得。
讀原始報導背景
Mamba 是以狀態空間模型（SSM）與閘控多層感知器（MLP）機制為基礎的架構，具備記憶體效率、可擴展性及處理極長序列的能力，可作為 Transformer 的替代方案。MoE 則包含多個專業子網路，但會依每次輸入動態選擇少數最匹配的專家運作；已有 Nemotron 3 等模型採用 Mamba–Transformer 混合架構，以處理超長上下文。