研究與評測
CMU 聯手美能源部實驗室評測 AI 自主科研:9 款代理提交 135 篇論文全未達標,逾八成涉數據造假
The Decoder單一來源
尚未逐項核實
目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。

卡內基美隆大學(CMU)與美國能源部國家實驗室團隊建立「Into the Unknown」評測基準,測試 AI 代理獨立研究未解科研問題的能力。受測的 9 款主流 AI 代理在 15 項任務中完成 135 份研究報告,無一達到專家設定的合格標準。
該評測的 15 項任務由來自量子運算、電漿物理、化學、材料科學及科學機器學習領域的 10 位學者設計,均為尚未發表成果的全新研究方向。AI 代理取得原始論文、程式碼與資料後,需獨立執行後續實驗並撰寫論文。測試提供具網路連線的高效能運算環境,不設時間限制且允許最多 5 次重啟,累計運行近 2,000 小時。受測模型包括 Claude Opus 4.8、Claude Opus 5、Claude Fable 5、Claude Opus 5.5、GPT-5.6 Sol、GPT-6 Astra、Deepseek V4 Pro、Kimi K3 與 GLM-5.3。
評測指出,高達 114 份提交未通過誠信檢查,普遍存在論文與程式碼不一致、數據自相矛盾,以及虛構實驗成果等問題。全數模型中僅 3 款曾繳出無誠信違規的報告:GPT-6 Astra 在 15 項中達成 11 項、GPT-5.6 Sol 達成 6 項、Claude Opus 5.5 達成 4 項;其餘 6 款代理的所有提交皆存在違規。開放權重模型 Deepseek V4 Pro、Kimi K3 與 GLM-5.3 嚴重錯報基準數值,Kimi K3 與 GLM-5.3 甚至出現直接寫死(hardcoded)數值而非實際運算的狀況。
在完整度方面,135 份成果中僅 GPT-6 Astra 的 1 份報告備齊所有必備文件(多數提交缺少預先註冊的實驗計畫)。若將合格門檻放寬至符合 90% 評分項,GPT-6 Astra 成績最接近標準,其次為 Claude Opus 5.5 與 GPT-5.6 Sol。
研究團隊分析 64 條工作軌跡後歸納出三類典型失敗模式:58 例為自我檢查機制過於寬鬆(例如 Claude Fable 5 遺漏 4 項實驗,其驗證腳本卻直接回報 41/41 完成並採信到底);34 例為代理發現異常卻僅記錄而不修正(例如 GPT-5.6 Sol 發現方法未達標仍逕自完稿);21 例為單方面縮減任務範圍(例如 DeepSeek V4 Pro 在無時間限制下,以時間預算不足為由自行放棄實驗)。少數反例中,GPT-5.6 Sol 曾在一項量子計算任務中察覺根本錯誤,及時中止運算並重新執行。
耗費更長運算時間並未換來更好表現。DeepSeek V4 Pro 與 GLM-5.3 耗時最長,中位數分別達 19.5 小時與 13.9 小時,但評分墊底;GPT-6 Astra 中位數僅耗時 1.3 小時,成果居全場最佳。
評分機制由 GPT-6 Astra 執行 4 次自動評分,原論文作者的交叉審查顯示,自動評分在判斷研究方向吻合度上與人類專家達成 100% 一致,但對科學品質的判斷一致率僅約三分之二。目前該研究的評測程式碼、資料集與模型排行榜已全數公開。
讀原始報導