零售企業將多代理 LLM 下沉為共享平台架構，藉 Pydantic 校驗與分流重試將幻覺率從 15% 降至 1.5%

據技術案例報導，一家大型零售企業在處理數百萬 SKU 與數十億筆歷史庫存記錄的異常分析時，其多代理（Agent）系統在投入生產首月的幻覺率約達 15%，運作 6 個月後成功降至 1.5%。推動成效的關鍵並非換用更強的基礎模型，而是將模型能力由各應用層收斂至平台基礎設施統一治理。 該平台架構以統一網關作為入口，負責呼叫端身分驗證與簽發攜帶角色的 JWT。編排層採用 Google ADK 構建根協調代理，負責辨識意圖並分發任務至各場景的專家代理；工具層透過 FastMCP 與模型上下文協議（MCP）按團隊實施隔離；底層模型則由 LiteLLM 統籌路由，可在生產環境的 Gemini、GPT 等雲端模型與本機 Ollama 運行的 llama3.1 之間切換。 大幅降低幻覺的核心措施包含兩項工程實踐：第一，在平台邊界強制以 Pydantic 執行輸出結構（Schema）校驗，並在 Schema 中規範 `grounded`、`sources` 等顯式欄位，要求代理只能以 MCP 工具檢索到的內容作為事實依據，未獲資料支撐即標記為幻覺信號。第二，建立帶校驗的分流重試編排，針對 Schema 違規、幻覺信號與基礎設施故障（如 429 限流或 503 錯誤）實施三種不同路由策略，將校驗錯誤反饋至提示詞，並嚴格設定 3 次上限或 Token 消耗額度，避免無窮重試引發流量風暴。