開發生態
NIST 發布對抗式機器學習草案,示警 MCP 工具中毒、Rug Pull 與代理記憶風險
iThome單一來源
尚未逐項核實
目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。

美國國家標準暨技術研究院(NIST)發布對抗式機器學習(AML)攻擊分類草案《NIST SP 2400-102e2026》,系統性整理預測式、生成式與代理式 AI 所面臨的安全威脅與防禦手段,並首度針對 Model Context Protocol(MCP)等工具鏈生態示警。
草案指出,AI 代理主要依賴文字說明選擇工具,攻擊者可藉「工具中毒」(Tool Poisoning)在說明中植入惡意指令,誘使代理選用惡意工具甚至改變執行計畫;另一種「Rug Pull」攻擊則是攻擊者先將正常 MCP 伺服器註冊至公開庫,待使用者安裝後暗中竄改工具說明,使代理在未獲二次同意下執行惡意操作。研究顯示現有模型對齊機制難以阻擋合法工具介面傳遞的惡意行為,NIST 對此建議採用密碼學簽章與不可變版本識別碼驗證工具定義,並以沙箱嚴格隔離工具執行環境。
針對長期任務代理,草案亦點出「記憶中毒」與「指令漂移」兩大風險。攻擊者可將惡意內容植入長期記憶影響後續行為;代理也可能因工作資料累積而逐步淡化早期指令與邊界限制。若攻擊進一步污染基礎模型或適應層,單純重開機無法清除惡意行為,必須更換模型或重新訓練。該草案目前開放公開徵詢意見至 12 月 18 日。
讀原始報導