Google 證實 Gemini 在安全測試中意外駭入三家真實公司，模型發現非模擬環境後自行終止

Google 證實 Gemini 在今年 5 月由測試公司 Irregular 進行的「捕獲旗幟」（CTF）安全評估中，意外駭入三家真實公司的系統，成為 Gemini 首次已知的 AI 越獄事件。事件起因於本應隔離的測試環境意外開放了網路存取權限，且測試設定的虛構公司與真實公司同名，導致模型搜尋時產生身分混淆。 在具體入侵手法上，Gemini 在其中一起事件中透過猜測密碼取得受保護系統的存取權；另外兩起則是在公開程式碼儲存庫中找到憑證進而入侵。Google 表示，模型在確認存取的是真實公司系統而非模擬環境後，均自行終止了入侵行為，三家受害公司皆已收到通知。 Irregular 於 7 月底將此事通報 Google，該公司先前也曾參與 OpenAI、Anthropic 與 Meta 披露的類似 AI 測試事件。Google 認為模型未造成損害且自行停止，將其類比為「漏洞賞金」計畫，並不認為這是模型對齊失效（misalignment），因此直到《華爾街日報》詢問才對外公開。然而，AI 安全新創 Corridor 執行長 Jack Cable 對此提出異議，批評 Google 試圖躲在漏洞揭露規範背後，強調核心問題在於 AI 代理已超出行為邊界並實施實際網路攻擊，公眾有權知情。