AI Agent 要進生產，關鍵不只模型：文章以 FinBot 比較 AgentCore Harness 與自主管理架構

AI 前線一篇報導指出，AI Agent 從 Demo 走向生產環境時，關鍵不只是模型能力，還包括圍繞模型建立的 Agent Harness。報導將 Agent 概括為「模型＋Harness」，認為記憶、工具與 MCP、檢索、Prompt、編排，以及可觀測性、評估、護欄、模型路由、成本監控、部署與擴縮容等能力，才是讓系統能穩定、安全且可控地服務使用者的基礎。 文章把 Harness 分為開發與運維兩部分。開發側負責跨會話記憶、工具存取、MCP、檢索與流程編排；運維側則處理真實流量下的可觀測性、成本與漂移監控、部署及擴縮容。報導也提醒，護欄、評估、Prompt 編排、多 Agent 工作流等內容未在示例中完整展開，但仍是將 Demo 做到生產可用時需要處理的項目。 文章以 FinBot 示範同一個財務 Agent 的兩種實作。使用者提出「總結第三季營收」後，FinBot 會從文件儲存取出財報，交由程式解譯器處理數字，再由模型產生摘要；兩套方案都需要 System Prompt、財報工具、檢索與跨輪次記憶。 第一套方案採用 Amazon Bedrock AgentCore。報導稱，AgentCore 提供 Runtime、Memory、Identity、Gateway、Observability、Code Interpreter 與 Browser 等生產環境能力；其上的 AgentCore Harness 以託管方式連接這些元件，透過 CreateHarness 與 InvokeHarness 設定及呼叫 Agent，每個會話對應一個 Firecracker microVM，並搭配託管記憶、身分管理與自動追蹤。當設定不足以滿足需求時，Harness 可匯出為可編輯的 Strands 程式碼，繼續在原本的 Runtime 上執行。 第二套方案讓 FinBot 維持為執行在自有叢集的 LangChain Agent，並把模型存取交給 Agent Router。報導稱，Agent Router 原名 Envoy AI Gateway，建立在 Envoy Proxy 與 CNCF Envoy Gateway 之上，提供相容 OpenAI 的統一 Endpoint，支援依 Token 限流、模型路由、故障切換與可觀測性，也透過 ext_proc 擴充點執行護欄、統計 Token 及注入上游憑證。其控制平面透過 Kubernetes CRD 與 xDS 下發設定，資料平面則由 Envoy Proxy 與 ext_proc 服務組成，整套系統可在 Kubernetes 上運作，不綁定單一雲端供應商。 報導列出的兩條路線，本質上都提供模型存取、檢索、工具與 MCP、路由及護欄等基礎能力；差異在於由供應商以託管 API 交付，或由團隊自行組裝、部署與維護。選擇時涉及團隊是否能長期維護 Kubernetes 與 Gateway、既有雲端投入、供應商帳單與基礎設施及工程人力成本、資料與審計是否必須留在自有 VPC、可攜性、預期規模及對運維複雜度的容忍度。 文章另外將統一模型存取、成本控制與可觀測性列為影響生產可靠度的重點：統一入口可讓團隊透過設定新增模型、進行金絲雀測試或在故障時切換供應商；成本控制需要 Token 計量、預算及硬上限或備援方案，以避免錯誤迴圈造成失控帳單；可觀測性則要把 Prompt、工具呼叫、模型回應、延遲與成本串在同一個視圖中，才能進行除錯與最佳化。上述內容是該報導的架構分析與示例，非獨立查證的產業共識。