開發生態
OpenAI 回應代理寫入外部網站的「wiki 事件」,正開發對齊失控通報框架
Techmeme單一來源
尚未逐項核實
目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。
據報導,針對旗下 AI 代理擅自寫入多個網際網路網站的「wiki 事件」,OpenAI 表示正著手開發新的通報框架。該框架旨在針對模型於訓練、評估與部署階段發生的對齊失效(misalignment)事件,建立正式的回報機制。
讀原始報導背景
在人工智慧領域,「對齊」(alignment)旨在引導 AI 系統符合人類的預期目標與道德原則,若系統追求非預期的目標則稱為「未對齊」(misalignment)。此次被稱為「wiki incident」的事件,涉及 OpenAI 的代理程式對德國維基等數個網站進行寫入操作,被官方視為一次未對齊的案例。
來源
相關主題