開發生態
據報導,字節跳動 Seed 設立模型安全與對齊部門,聚焦 Agent 與 CBRN 風險
AI 科技評論單一來源
核實資料不足
目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。
本次未取得足夠原文證據
AI 科技評論引述字節跳動 Seed 近日發出的內部郵件報導,Seed 將成立「Seed Model-Alignment&Preparedness」部門,由嚴林負責,並向 Seed 負責人吳永輝彙報;原 Responsible AI 團隊及部分 Chat 團隊成員將轉入。報導稱,新部門將聚焦模型規範制定、安全評估、對齊訓練、防護系統與風險監控,並著重提升 Agent Model 安全能力及防範 CBRN(化學、生物、放射、核)等前沿能力風險。報導並稱,Seed 是中國國內首個單獨成立安全與對齊部門的前沿 AI 實驗室,後續將加強與外部研究機構及第三方評測的公開合作。上述內容目前僅有單一媒體報導,字節跳動尚未在材料中公開證實。
讀原始報導背景
AI alignment 的目標,是讓 AI 系統朝向人類或特定群體所期待的目標、偏好與倫理原則運作。若系統未對齊,可能追求與設計者意圖不一致的目標,因此安全與對齊工作也涉及界定模型應有及不應有的行為。