跳到主要內容
2026-11-16 日報
模型發布

論文發表 801-30B-A3B-Base:首度將 RSI 引入預訓練,以 11.8T Tokens 訓練 MoE 模型

Reddit r/LocalLLaMA單一來源
核實資料不足

目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。

本次未取得足夠原文證據

據社群公開的論文預印本披露,研究團隊提出首個將遞歸自我改進(RSI)應用於從頭預訓練全流程的方法,並預告開源 MoE 模型 801-30B-A3B-Base。論文指出,過往 RSI 研究多受限於既有模型上的後訓練階段,而前沿預訓練耗費數十萬 GPU 小時且無法重複執行;團隊因此將整體流程拆解為包含資料管線、訓練基礎設施等數個小型閉環迴圈以實現自我改進。該模型採總參數 30B、活化參數 3B 架構,由團隊歷時 3 個月基於 11.8T tokens 從頭訓練完成。評測數據顯示,其作為基底模型的表現超越 Qwen3-30B-A3B 與 Nemotron-3.5-Lightning-30B-A3B,僅次於參數量更大的 Qwen3.5-35B-A3B;在僅進行 6B tokens 輕量 SFT 且未經強化學習(RL)的條件下,該模型在四項 Agent 評測基準上的平均表現優於經過完整後訓練的 Qwen3.6-35B-A3B。目前團隊已釋出輕量 SFT 資料集與 GitHub 專案,模型權重標記為即將發布。
讀原始報導

背景

遞迴自我改善(Recursive Self-Improvement, RSI)是指人工智慧系統透過迭代設計或改良自身與後繼系統的機制,理論上能形成正向回饋以持續提升能力。過去 AI 開發的所有環節主要由人類工程師主導,近期研究與機構則開始逐步嘗試將開發工作委託給 AI 系統本身,以加速整體系統的研發與改進。

來源