論文發表 801-30B-A3B-Base:首度將 RSI 引入預訓練,以 11.8T Tokens 訓練 MoE 模型
該 30B 總參數、3B 活化 MoE 僅經 6B token 輕量微調,便在四項 Agent 評測平均表現超越 Qwen3.6-35B-A3B。
Reddit r/LocalLLaMA單一來源
33 則值得知道的變化
該 30B 總參數、3B 活化 MoE 僅經 6B token 輕量微調,便在四項 Agent 評測平均表現超越 Qwen3.6-35B-A3B。
模型以逾 10 萬筆專項資料強化工具呼叫能力,並接入 AgentArts 與 CodeArts,輸出定價為每百萬 Token 3.2 元。
每 133 毫秒將語音與文字整合至單一位置,捨棄離散 token 改採 64 維連續特徵與單步採樣,並支援參考音訊自訂音色。
輕量版採用 32×32×4 空時壓縮支援 720p 24 fps 生成,工作流程整合 Qwen 文字與 SigLIP 視覺編碼器。
新版本緩解自回歸續寫的誤差累積以維持長影片身分一致,並修正嘴部過度誇張及唇色過紅問題,同時提供端到端推論管線加速。
模型基於 GPT-X3 訓練,可於瀏覽器或端側一次判定提示詞是否具危害性或對抗性,效能宣稱超越數倍體積的模型。
全系列包含基礎、微調與視覺多模態版本並提供 GGUF 格式,其中 15B MoE 活躍參數為 3.9B,採 Apache-2.0 釋出。