安全與監管
開放安全 AI 聯盟提出 SAFE 草案,建立 AI 代理系統資安事件共享機制
iThome單一來源
尚未逐項核實
目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。

據報導,由 Nvidia 領軍的開放安全 AI 聯盟(Open Secure AI Alliance)於 Black Hat USA 大會宣布提出「共享 AI 發現交換」(SAFE)草案,旨在建立 AI 代理系統資安事件與調查發現的共享機制。
該草案由 Nvidia、思科、CrowdStrike、Hugging Face 和 Red Hat 等成員貢獻,內容包含 AI 事件與未遂事件的蒐集分析、受影響對象通知、控制失敗原因辨識,並提供降低系統性風險的作業建議。Linux 基金會已為此發布意見請求書(RFC),採 CC-BY-4.0 授權開放社群檢視與貢獻。
該聯盟於上月成立,目前成員逾 120 家,強調 AI 代理人為完整系統,需涵蓋身分控制、執行框架與護欄。作為聯盟進展的一部分,Nvidia 已貢獻 NOOA 研究框架、NeMo Guardrails 及 LLM 漏洞掃描工具 Garak 等資源,其他成員如微軟、Okta 等亦分別貢獻身分管理與漏洞研究工具。
讀原始報導背景
新聞中提到的 NeMo Guardrails 是由 NVIDIA 開源的 Python 套件,主要用於為大型語言模型(LLM)應用程式加入可程式化的安全防護。該工具能攔截模型的輸入與輸出並進行安全檢查,以防禦越獄(jailbreaks)與提示詞注入(prompt injections)等常見的 LLM 漏洞。