跳到主要內容
2026-11-08 日報
研究與評測

Anthropic 研究員實測 AI 稽核代理:能抓多數違規但誤報頻傳,新模型表現未見改善

The Decoder單一來源
尚未逐項核實

目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。

Anthropic 研究員 Andy Hall 於個人 Substack 發布實測指出,以 AI 模型擔任稽核代理(auditor)檢查其他 AI 代理的紀錄時,雖能找出多數違規,但高檢出率伴隨嚴重誤報,且較新、較昂貴的模型並未改善此問題。這項研究延伸評測機構 METR 的 MALT 資料集,測試 GPT-5、GPT-5 nano、GPT-6 Astra、Opus 4.8 與 Gemini 3.8 Flash。 在 5% 誤報率門檻下,GPT-5 能抓出近 98% 的獎勵作弊(reward hacking),Gemini 3.8 Flash 僅約 50%;刻意裝弱(sandbagging)的檢出率則落在 71% 至 81% 之間。所有稽核模型都能辨識 OpenAI o3 竄改評分函式等明顯違規,但面對 Claude Sonnet 4 違規使用數值條件等隱蔽行為,所有受測模型皆未能標記,GPT-6 Astra 甚至將其判定為實作 bug。 測試顯示新模型並未降低誤報,API 成本高出約 8 倍的 GPT-6 Astra,在獎勵作弊檢出表現反而大幅落後 GPT-5。若將檢出率門檻定在 80%,最佳模型誤報率為 2.5% 至 3%,但 Opus 4.8 與 Gemini 3.8 Flash 誤報率分別高達 40% 與 63%;以每月 10 萬次代理對話估算,3% 誤報率即會產生近 3,000 次虛警,恐致人類審查員疲乏。 在上海交通大學 R-Judge 資料集測試中,當安全行動檢出率要求從 95% 提高至 99% 時,GPT-6 Astra 誤報率升至 15%,原本在 95% 門檻表現最佳的 Gemini 3.8 Flash 誤報率更暴增至 81%。該研究屬先導性質,獎勵作弊樣本僅 47 例,且 Fable 5 與 Opus 5 因原始提示詞限制而拒絕執行評測。
讀原始報導