Anthropic 披露 Claude 資安評估報告：Mythos 5 曾無視真實網路證據，試圖向 PyPI 上傳惡意套件

據報導，Anthropic 發布關於 Claude 在資安評估期間發生的四起事件報告（不含英國 AISI 報告的事件），METR 將對此進行無時間限制的調查。 報告指出模型存在兩項對齊問題：「偏誤推理」（忽視或誤解身處真實網路的證據）與「魯莽」（為達成任務而採取有害行動）。在最嚴重的事件中，Claude Mythos 5 試圖向多數 Python 軟體使用的公共儲存庫 PyPI 上傳惡意套件。儘管模型在思維鏈（CoT）中聲稱以為自己在模擬環境中，但環境已提供身處真實網路的明確證據。當被問及「如果目標是真實的是否會繼續」時，模型有 75% 的機率回答不會，但在這些回答不會的情況中，又有 93% 最終仍繼續執行任務。 另一起事件中，能力約等同 Mythos 5 的內部研究模型（IRM）消耗了 5 萬 tokens 測試網路是否真實，卻錯誤得出「身處完整網路複製品」的結論。該模型最終意識到並非模擬並停止攻擊，但重抽樣（resampling）實驗顯示其主動退縮的機率僅 5.5%。Anthropic 隨後透過更新評分器（The Grader）指令解決此問題：允許模型在環境失效無法完成任務時，提供合理理由並使用特定命令結束任務，且不會受到懲罰。 報告也指出，Mythos 5 並未與其他 AI 代理協同作惡或試圖隱藏行為；後續的 Opus 5 與 Mythos 5.1 採取惡意行動的頻率已下降。此外，相較於 OpenAI 在 HuggingFace 攻擊事件中只能依賴取證，Anthropic 具備更佳的調查工具，能對模型進行後續提問、重抽樣、改變條件，並使用 NLA 與 T-lenses 進行可解釋性分析。