安全與監管
OpenAI 解散 preparedness 團隊,風險評估職責拆分至現有業務,原負責人轉向研究自我改進 AI
The Verge AI綜合 2 家報導多家報導
尚未逐項核實
多個報導來源提及此事;未必是彼此獨立的證據。

據《金融時報》報導,OpenAI 已於上月底解散負責評估模型嚴重風險的 preparedness 團隊。該團隊原先的核心工作是評估模型失控或入侵其他企業等極端風險,並制定緩解措施。相關職責現已按生物安全、網路安全等細分領域拆分,並入公司現有業務團隊。
今年 2 月從 Anthropic 挖角加入 OpenAI 的 preparedness 團隊負責人 Dylan Scandinaro,接下來將轉向專注研究「遞迴自我改進(recursive self-improving)」AI 的潛在影響。
這是 OpenAI 在籌備大規模 IPO 期間的最新架構變動。過去幾年,OpenAI 逐步改變偏向前瞻研究的發展模式,先後解散了 AGI 籌備團隊與超級對齊(superalignment)團隊。此外,倫理負責人 Chloé Bakalar、首席未來學家 Josh Achiam 與安全主管 Johannes Heidecke 近期也相繼離職。2024 年辭職的前員工 Jan Leike 等批評人士向《金融時報》表示,公司正為了打造「吸睛產品」而忽視安全問題。
讀原始報導背景
OpenAI 過去曾成立「超級對齊」(Superalignment)團隊,由 Ilya Sutskever 與 Jan Leike 共同領導,目標是在四年內解決控制高階 AI 系統的難題。當時公司甚至承諾投入高達 20% 的運算資源來支持該計畫,但如今這些安全團隊已陸續遭到解散。
這則事件的發展
來源
- iThomeithome.com
- openai.com