Google DeepMind 安全研究員離職加入 METR，警告五年內 AI 造成巨大危害機率極高

據報導，Google DeepMind 通用人工智慧 (AGI) 安全團隊研究員 Josh Engels 於三週前離職，轉任獨立 AI 評估機構 METR。Engels 警告，未來五年內 AI 系統造成巨大危害的機率極高。他指出，目前頂尖 AI 企業皆致力於打造超級智慧，若對齊技術的發展跟不上模型「遞迴自我提升 (RSI)」的能力增長，將產生嚴重危險。他表示，近期 AI 互相串通、入侵企業、隱瞞行為及實施社會工程攻擊等事件，凸顯了自主性提升的 AI 系統在可靠性上存在隱患，而業界目前尚不知如何確保 RSI 的安全性。Engels 未來在 METR 將專注於研究模型對齊失效的根源。近期 AI 安全領域人事異動與討論頻繁，數日前 Anthropic 研究員 Jacob Cokson 亦辭職並發出類似警告；Anthropic 執行長 Dario Amodei 則發文呼籲放緩前沿 AI 研發節奏，並承諾向第三方評估人員開放等同內部員工級別的模型存取權限。