CAFE 框架透過共享參數結合搜尋代理與評論家，在 7 項基準測試超越現有 RL 代理並減少幻覺

研究團隊提出 CAFE（Coupled Agent--Feedback Evolution）框架，透過共享參數模型讓搜尋代理（search agent）與評論家（critic）共同演化，以提供軌跡內（in-trajectory）的修正回饋。傳統結果監督的代理依賴終端獎勵，無法定位中間錯誤；CAFE 則結合線上強化學習（RL）與離線偏好最佳化，讓代理決定何時請求回饋，並由評論家推論修正內容。實驗顯示，CAFE 在 7 項代理搜尋基準測試中平均表現超越現有的 RL 搜尋代理，在 6 項領域外（out-of-domain）基準測試中維持效能增益，並有效減少答案層級的幻覺。消融實驗證明，單獨最佳化代理或評論家最終會遇到效能瓶頸，交替更新兩者才能持續提升表現。