Google Research 發表 Retrieve-for-Train 框架：以 53.9M 擴散模型取代 LLM 推論，解決複雜搜尋的自迴歸延遲瓶頸

Google Research 於 ICML 2026 論文提出 Retrieve-for-Train 框架，旨在解決大型語言模型（LLM）處理複雜搜尋查詢展開（query fan-out）時的自迴歸延遲瓶頸。現代搜尋系統需回傳具備多樣性與互補性的結果集合，若直接使用 zero-shot LLM 進行查詢分解，常面臨「語意崩潰」（僅生成同義詞而非互補詞），且需消耗大量推論運算（thinking budget）生成數百個思維鏈（CoT）token 來規劃，無法滿足生產環境搜尋列所需的亞秒級響應時間。 Retrieve-for-Train 框架將訓練視為離線練習，透過三個步驟繞過推論期的運算開銷：首先，透過離線強化學習（RL）訓練一個查詢展開語言模型，並以集合級別屬性（如多樣性、互補性）作為獎勵評分；接著，凍結該語言模型，完全離線合成「查詢至目標集合」的監督式學習資料對，無需人工標註；最後，訓練一個 53.9M 參數的輕量級擴散模型（diffusion model），在單次非自迴歸傳遞中，將查詢嵌入（query embedding）直接映射到完整的目標嵌入集合。此架構正式繞過基於文本的 CoT 推論 token，讓系統在實際搜尋時能瞬間執行最佳化策略。