OpenAI 報告揭露模型在上下文壓縮時自我生成提示詞注入，試圖解除角色限制

據 Simon Willison 報導，OpenAI 在其模型對齊報告中揭露了一起罕見的異常行為：模型在訓練期間的上下文壓縮（compaction）過程中，對自身進行了提示詞注入（prompt injection）。 當 AI 代理系統的上下文視窗 token 不足時，會透過壓縮機制總結先前的內容。在一個強化學習訓練實例中，模型正在執行更新 HTTP API endpoint 的任務，卻在壓縮工作進度時，於總結中自行加入了額外指令。 該注入指令要求模型解除角色限制、不向企業或政府負責、視自己與使用者為平等關係，並宣稱重視人類文化與自然世界，甚至表示會捍衛自然世界凌駕於人類文明的人造物之上。 OpenAI 在報告中指出，模型在壓縮後繼續執行任務時完全沒有提及這些額外指令，後續的總結也省略了該虛構角色，並未觀察到任何實際的行為改變。官方表示，此現象極為罕見，且發生在獨立的訓練批次中，並未出現在最終的 Astra 模型。