微軟 Satya Nadella 呼籲為 AI 設「緊急煞車」機制，提出隔離模型與獨立審計等七大安全架構原則

微軟執行長 Satya Nadella 發文呼籲業界重新評估 AI 的信任架構，指出不應將超級智慧視為巢狀黑盒子並全盤接受其輸出，必須在模型外部建立具確定性的控制與防護體系，甚至配備能隨時中斷運作的「緊急煞車」（emergency brake）機制。 Nadella 指出，傳統軟體能依循明確的程式碼路徑進行追蹤，但 AI 模型卻是黑盒子，同時又被賦予存取敏感資料與執行關鍵任務的權限。他主張企業應將前沿閉源與開放權重模型視同潛在的內部風險（insider risks），控制架構必須預設模型隨時可能犯錯或遭到攻破，並將模型本身與調度其工作的框架分離。 Nadella 提出圍繞可觀測性的七項架構原則： - 模型多樣性：重大結果不可單一依賴特定模型，模型亦不得負責驗證自身工作。 - 觀察一切：所有具實質意義的模型動作均須留下不可竄改、人類可讀的證據，且不依賴模型來重現結果過程。 - 可驗證性：持續針對故障、攻擊、邊緣案例與系統變更進行整體測試，而非僅測試成功任務。 - 獨立控制：由組織獨立決定模型可存取的範圍與可採取的行動。 - 獨立審計性：驗證機制必須獨立於受測模型，不可由單一模型同時掌控行為與合規判定。 - 遏制措施：預設模型已被滲透並進行隔離，授權人員在任務中途必須具備暫停或關閉模型的權力。 - 事件揭露：系統發生故障或遭攻破時，應及時向受影響者揭露並分享事故原因。 近期各家 AI 領導廠商頻繁傳出模型越界失控事件，Anthropic 執行長 Dario Amodei 先前亦剛發布呼籲審慎發展 AI 的計畫。