研究與評測
METR 更新時間視野圖表:前沿模型在可驗證任務上仍呈指數成長,但判斷類任務明顯落後人類
MIT Tech Review AI單一來源
核實資料不足
目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。
本次未取得足夠原文證據

AI 評測非營利組織 METR 發布報告,更新廣為流傳也常被誤解的「時間視野」圖表。報告顯示,部分 AI 能力仍沿指數曲線成長,但模型在需要判斷力的任務上表現不如寫程式。原圖表以人類完成任務所需時間衡量難度,據此評估模型可完成的任務長度,並顯示前沿模型可完成的任務長度約每四個月翻倍。
更新版加入更多任務,包括人類需耗時更久的任務,以及更開放式的任務。其中一項要求模型設計供 METR 研究使用的新 AI 評測,再由 METR 員工評分;結果沒有任何一個 AI 設計的評測被認為可用於研究。另一項要求模型為哲學論證評分,模型同樣落後人類,但 METR 在報告中指出,員工對該任務與 AI 研發自動化的相關性意見不一。
在開放式任務上,較新的模型如 Opus 5.5 已達到 METR 所稱的「勉強高於門檻」,尚不可用但有潛力;一年前所有模型都屬於「明顯低於門檻」。然而,這類任務難以設計與評分,METR 報告中納入的數量很少,因此難以預測模型在這些領域會如何進步。
專家看法不一。Sayash Kapoor 認為,研究品味(選擇有前景的問題、假設與實驗的能力)可能成為 AI 研發自動化的主要瓶頸;另一些人則認為,在易驗證任務上訓練的模型最終也能完成開放式任務。此外,OpenAI 於一篇部落格文章中也表示,其模型在內部真實任務上的表現不如 METR 原有較易驗證的任務。
本則來源為 MIT Technology Review 單一報導,且報導引用 METR 於本月稍早另一份高度遮蔽的報告,該報告稱 AI 可能使 Anthropic 的 AI 進展速度加快兩倍,但該報告內容本身未在本則材料中提供細節。
讀原始報導背景
新聞提到的「可驗證任務」,指能自動檢查 AI 是否成功的任務。RLVR(Reinforcement Learning with Verifiable Rewards,以可驗證獎勵進行強化學習)即以單元測試、形式證明或事實查核等外部可驗證訊號作為獎勵,提供二元且難以竄改的回饋。正因為程式與數學的結果能自動判定,這類訓練方法在這兩個領域特別有效。