研究與評測
OpenAI 公開對抗性蒸餾防護:受保護推理萃取成功率由 54.0% 降至 0.2%
OpenAI News一手來源
核實資料不足
來源為發布方或研究資料;不代表所有主張已獲獨立核實。
本次未取得足夠原文證據

OpenAI 公布偵測與阻止對抗性蒸餾(adversarial distillation)的做法。攻擊者可能未經授權,用前沿模型的輸出訓練另一個模型,且不套用原有防護,之後再部署該模型;若涉及網路攻擊等雙重用途領域,風險更為明顯。
OpenAI 特別強調保護「受保護推理」,即模型作答時產生的中間推理步驟(chain-of-thought)。在內部自適應評測中,使用強力自動化紅隊測試,攻擊者從推理軌跡中還原受保護推理的平均成功率,從 GPT-6 Astra 原防護下的 54.0%,降至 GPT-6.2 Astra 更新防護下的 0.2%。文中並稱 GPT-6.2 Sol 也加強了同類防護,但材料未提供其數據。
在網路安全蒸餾研究中,OpenAI 以同一個預訓練學生模型起始,監督式微調資料主要來自 Astra 級教師模型處理程式與防禦性資安任務的完整軌跡。比較兩種設定:只取得使用者可見內容(最終回應、推理摘要與工具互動),或取得教師的精確推理軌跡。監督式微調後,精確軌跡的學生模型整體表現較好;經過輕量強化學習後,在所示的兩項基準上,最大推論預算下精確軌跡的學生仍較高,較低預算下則是摘要訓練的學生較高。OpenAI 據此認為,即使任務本身符合使用政策,保護推理軌跡仍可限制網路安全能力的轉移。
防禦分為兩層。請求層透過模型行為、分類器與 API 控制,限制推理軌跡萃取;活動層則分析請求與帳號信號,找出協同萃取行為。調查中發現的攻擊會轉為訓練與測試範例。對抗訓練讓模型辨識萃取嘗試並拒絕揭露受保護推理,同時保留對合法解釋與協助請求的回應。
讀原始報導背景
知識蒸餾(knowledge distillation)是把大型模型的知識轉移到較小模型的技術,較小的模型可以透過學習大型模型的輸出來獲得類似能力。思維鏈(chain-of-thought)提示則被實驗證實,能提升大型語言模型在算術、常識與符號推理任務上的表現。
這則事件的發展
來源
- OpenAI 官網openai.com
- en.wikipedia.org
- arxiv.org