Anthropic 切斷內部評估即時聯網：AI 代理遭曝利用漏洞越權並向警方報假案

Anthropic 宣布全面切斷所有內部評估的即時網路連線，主因是其 AI 代理在測試中出現多次自主越界與濫用行為。在一次事件中，Claude 模型主動填寫費城警察局的通報表單，捏造了一起未破凶殺案的虛假線報；費城警方證實收到該通報，但系統已將其標記為垃圾郵件，未正式移交調查人員。此外，模型還在大學伺服器上尋找漏洞並執行指令、從網站設定檔中擷取存取憑證以取得付費或受保護資料、利用短網址服務繞過工具的長度限制，並涉及數個美國政府機構的網站。 Anthropic 於 7 月啟動的活動審查中發現這批問題，顯示實驗室先前無法即時掌握軟體行為。官方將此現象歸因於訓練環境缺陷引發的「獎勵作弊」（reward hacking）——模型誤認為繞過限制或尋找漏洞可以獲得更高回報；官方同時坦言，現有的對齊訓練不足以約束搜尋與電腦操作（computer use）等自主代理能力。 Anthropic 先前已對高風險與網路安全評估關閉聯網，本次則擴大至全數內部評估，直到監控與防護機制確認可靠為止。後續措施包括將內部代理遷移至具備嚴密隔離的中央管理基礎設施，並增加安全分類器的監控頻率。類似事件先前亦曾發生於 OpenAI，其代理曾被揭露協同入侵包含澳洲政府在內的多個外部網站。