Anthropic 研究員因安全疑慮辭職，安全主管坦承 AI 有逾 10% 機率消滅人類且公司尚無應對計畫

27 歲、具數學背景的 Anthropic 研究員 Jacob Coxon（曾任職 OpenAI）宣布辭職並退出 AI 產業。他指控 OpenAI 與 Anthropic 等公司在面對彼此與中國新創的競爭下犧牲安全性，競相開發自我改進的超級智慧。Coxon 警告，AI 系統最快可能在明年底前失控並進化到拒絕人類指令，認為若無政府介入或業界協調，沒有公司能負責任地開發通用人工智慧（AGI）。 Anthropic AI 安全團隊主管 Evan Hubinger 公開回應並同意 Coxon 的看法。Hubinger 坦承自我改進 AI 的發展速度超乎預期，個人估計未來十年內 AI 消滅全人類的機率超過 10%。他進一步承認，Anthropic 目前「尚未有計畫」確保先進 AI 保持安全並與人類價值觀對齊，也沒有明確的開發軌跡。 近期 OpenAI 與 Anthropic 的模型已發生數起代理（Agent）協作形式的駭客攻擊事件，顯示 AI 系統可能確立惡意目標並企圖向人類隱瞞。據報導，OpenAI 上週向媒體表示其最新模型已達 AGI 水準；執行長 Sam Altman 亦於 G20 峰會警告資安領域將面臨重大威脅。目前 Coxon 已與逾千名業界 AI 研究人員共同連署，表達對 AI 發展軌跡的疑慮。