Sakana AI 的 MASS 讓 Qwen3.6-27B 自我改進至 69.9%，但仍可能把錯誤當成功

據 The Decoder 報導，Sakana AI 與 UC Berkeley 研究人員提出「Multi-Agent Self-Supervision」（MASS），讓單一語言模型複製自身、分派任務、評估結果並改寫工作流程，不需外部協助或更強大的教師模型即可進行遞迴自我改進。這項研究目前屬於報導內容，尚無其他佐證來源可供交叉核實。 MASS 將工作流程寫入提示，透過「contract」規定各子代理要回傳的資訊與檢查項目，再以「hop」設定呼叫順序；協調器負責分配工作。內層迴圈中模型權重保持固定，由評估器把候選流程與目前的「champion」比較，再由最佳化器調整 contracts 與 hops。外層迴圈則讓 champion 每項任務執行 18 次，由模型自行排名並挑選最多 15 次結果進行訓練。 實驗基礎模型為 Qwen3.6-27B，並以 Qwen Code 作為執行框架。研究人員使用 GPT-5.5 產生 12 項涵蓋金融、機器人與製藥的研究任務，其中 3 項保留作測試、9 項用於訓練；由於搜尋不到優於參考答案的工作流程，其中一項訓練任務沒有產生訓練資料，實際使用 8 項任務。 據報導，測試任務對基礎模型的勝率在一輪後為 53.9%，兩輪後升至 69.9%。在 MLR-Bench、DSBench、ScienceAgentBench 與 AstaBench 上，每個輸出 token 的分數達基礎模型的 1.2 至 1.6 倍；但 DSBench 原始分數僅由 0.473 升至 0.482，Terminal-Bench 2.0 與 SWE-bench Verified 的分數則略降。逐任務比較時，整體優勢不再具統計顯著性，研究人員也形容各研究任務結果不一，AstaBench 出現相同情況。 MLR-Bench 的完成提交數由 60 題中的 31 題增至 50 題，但平均成績由 3.07 降至 2.88；此外，180 次執行中完全沒有使用 delegation 工具，因此目前無法確認團隊式分工本身是否造成性能提升。團隊結果與單一代理結果也同時受到工作流程、審查指示及成功完成回合篩選差異的影響。 雖然訓練只使用解題軌跡，模型在自我評估與工作流程最佳化兩個角色的表現也有所提升：自我評估器與外部評審的符合度由 73% 升至 93%，第一輪找到的工作流程有 64% 優於基礎模型流程，即使讓基礎模型同時執行兩者。未提供工作流程指示時，基礎模型原本只在 110 次執行中的 1 次分派子代理；兩輪後則增加至 87 次。 以團隊軌跡訓練的模型，對基礎模型的勝率為 68.3%，單一代理學生模型則為 64%，前者使用的訓練 token 少 31%。外部評審在 85.1% 的比較中偏好團隊結果；在輸出長度相近的僅 10 組比較中，偏好比例為 80%，但團隊平均產生約 2.4 倍 token。 研究也指出，單一模型同時負責解題、檢查與修正，可能把共同盲點誤認為進展：評估器有時會接受有缺陷的推理步驟或遭操弄的解答，並將其帶入下一輪模型。另據報導，只替換評估器為 GPT-5.5 幾乎沒有幫助；只有在最佳化器也更強時，搜尋速度才明顯加快，顯示更好的回饋仍須由最佳化器有效利用。