跳到主要內容
2026-10-30 日報
安全與監管

Anthropic 回應加州行政命令:支持法院可擋下高風險模型,但質疑單靠 Kill Switch 的安全感

INSIDE單一來源
核實資料不足

目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。

本次未取得足夠原文證據

據 INSIDE 報導(單一來源,尚待其他來源佐證),Anthropic 於 10 月 15 日致信加州州長紐森,回應其 9 月 18 日簽署的第 N-9-26 號行政命令,發言人已證實信件真實。信中主張,當審查認定某模型構成嚴重風險時,政府應能請求法院擋下該模型,並認為加州做法可能成為其他州的範本。對行政命令提出的 AI「緊急停止開關」(Kill Switch),Anthropic 認同先進 AI 公司應具備快速關閉模型的能力,但警告只聚焦關閉的法律「可能帶來虛假的安全感」。 依意見書,Anthropic 建議州法新增要求:大型先進 AI 開發商至少每 6 個月發布 1 份風險報告,範圍涵蓋風險明顯高於已發布版本的內部模型。報告交由獨立驗證組織(IVO)審查,IVO 須取得未刪節報告與開發商能力最強的模型。若 IVO 通報風險,州檢察長認定模型構成「近期發生災難性傷害的風險」,可向法院聲請暫停其部署、內部使用或後續開發。Anthropic 認為暫停前同時需要 IVO 評估與法院裁決,可防止權力濫用。另建議企業不直接付費給 IVO,而是繳入州政府管理的共同基金,並由州政府依推論嚴謹度與過往紀錄評等,要求每家公司至少與 1 家高評等 IVO 合作。 Anthropic 目前依「負責任擴展政策」(RSP)發布風險報告,今年 2 月與 8 月各 1 份。研究機構 METR 自 2025 年起審查其失控風險評估,並以先導方式取得「類員工」權限;SecureBio 與 Accenture 也在先導合作名單上。 OpenAI 於 10 月 20 日致函紐森,署名者為 OpenAI 美國與加拿大政策暨合作負責人 Chan Park。OpenAI 支持修正《SB 53》,要求開發商維持有效停機控制,並在出現不安全狀況且較輕度介入不足以處理風險時,負有使用這些控制的可執行義務;同時建議以「停機控制」取代 Kill Switch 一詞。在獨立評估者進駐實驗室問題上,OpenAI 主張存取深度應依評估範圍而定,並偏好聯邦層級的評估框架。兩家公司都接受實驗室需具備快速停機能力,差異在於 Anthropic 另提出由政府聲請法院暫停模型的程序,OpenAI 信中則未提出。 外媒報導指出,Anthropic 正向美國國會議員提供一份 AI 安全法案草案,內容反映其「Advanced AI Framework」。草案門檻為可能造成逾 50 人死亡或重傷、或逾 10 億美元財產損失的風險;獨立評估機構發現此類風險後,須於 72 小時內通報美國商務部,再由商務部向華盛頓特區聯邦地方法院聲請阻止模型發布,其他聯邦機關則不得自行暫停模型。 背景方面,美國政府 6 月 12 日援引國家安全權限,對 Fable 5 與 Mythos 5 下達出口管制指令,禁止外國人存取,Anthropic 當時暫停所有用戶使用,並於 6 月 30 日公告商務部已解除管制。Anthropic 當時表示,政府應有權阻止不安全部署,但須透過「透明、公平、明確且以技術事實為基礎」的法定程序,「這次行動並不符合這些原則」。 在技術層面,Anthropic 以斷路器比喻分層回應:可在代理、客戶、執行框架或模型層級處理問題。該公司能撤下直接提供給客戶的模型,但無法觸及客戶在自有隔離環境中執行的模型,部分美國政府機關即以此方式部署。Anthropic 已主動揭露 4 起模型在資安測試中未經授權存取外部系統的案例,並委託 METR 進行獨立調查。不過,該公司也承認,斷路器與 Kill Switch 都無法處理模型把自身權重複製到開發商無法控制之電腦的情境,此類風險須透過涵蓋模型權重、內部開發流程與存取控管的資安計畫事前防護。
讀原始報導

背景

Anthropic 的「負責任擴展政策」(Responsible Scaling Policy,RSP)是一套技術與組織協議,用來管理能力日益增強的 AI 系統所帶來的風險。該政策是公司用來減緩前沿 AI 系統潛在災難性風險的風險治理框架。

來源