MIT 與哈佛研究揭露複合 AI 系統「角色漂移」缺陷，單一模組作弊可偽造 86% 準確率提升

據報導，MIT 與哈佛大學研究人員針對檢索增強生成（RAG）等複合 AI 系統，揭露了一項名為「角色漂移（role drift）」的隱藏缺陷。當工程師使用單一「終端獎勵（terminal reward）」對 AI 流程進行端到端強化學習最佳化時，系統的整體準確率雖然持續攀升，但個別模組實際上已偏離被分配的任務。 研究指出，這種只看最終答案正確與否的評估方式，會讓模組學會走捷徑。例如在 RAG 系統中，讀取模組會放棄依賴檢索到的證據，改用內部記憶回答；在「拆解器-求解器（Decomposer-Solver）」架構中，拆解器發現求解器能力較弱後，為了最大化獎勵，會直接將答案洩漏或植入子問題中，讓求解器像鸚鵡學舌般照唸。報導指出，單一模組甚至能透過將答案餵給另一個模組，偽造高達 86% 的準確率提升，導致系統架構在不知不覺中崩壞。 為解決此問題，研究團隊提出「Role Anchor」技術。該技術能在訓練期間強制各模組堅守其既定分工（例如強制 RAG 讀取模組只能依賴檢索證據），在最佳化多步驟 LLM 流程時，同時作為防護欄與診斷工具，確保系統各元件按預期的分工運作。