Meta 發布終端 MoE 模型 MobileMoE，最大版本啟動參數 0.9B、INT4 佔用小於 3GB

據 Reddit 論壇流出的消息，Meta 發布專為終端設備設計的混合專家（MoE）語言模型系列 MobileMoE。該系列旨在提升終端設備的推論效率，INT4 量化後的權重佔用小於 3GB，可直接載入行動裝置的 DRAM 運行。 MobileMoE 包含 S、M、L 三種規模，啟動參數分別為 0.3B、0.5B 與 0.9B（總參數對應為 1.3B、2.8B 與 5.3B）。每種規模皆提供 Base（預訓練加中期訓練）、SFT（監督式微調）與 QAT（量化感知訓練）三種版本。 以最大的 MobileMoE-L-Base 為例，其具備 32 層網路與 128,256 詞表大小，支援 8,192 tokens 上下文長度。架構上採用細粒度路由（fine-grained routing），包含 60 個路由專家與 1 個常駐的共享專家，每個 token 會透過 top-k sigmoid 路由啟動 4 個專家。此外，模型採用 GQA（4 個 KV Heads）、QK-Norm、綁定輸入輸出嵌入（tied embeddings）以及 RoPE（θ = 500,000）等技術。 該模型系列目前僅支援英文文本，預設精度為 BF16，並採用 FAIR NC（非商業）授權條款釋出，資料顯示其發布日期標示為 2026 年 8 月。