Grab 內部框架 LLM-Kit 支援逾 500 個 AI 代理，生產部署時間從兩週縮短至 1 小時

據報導，東南亞網約車與外送平台 Grab 透過內部框架 LLM-Kit 標準化了 500 多個 AI 代理服務，將全新代理接入生產環境的時間從兩週縮短至約 1 小時。 LLM-Kit 並非新的代理抽象，而是基於現有基礎設施搭建的腳手架。工程師填寫表單即可獲得一個可運行的 FastAPI 服務，內部已整合 LangGraph Agent 模組、OpenTelemetry 鏈路追蹤、Vault 金鑰管理與服務發現。 在工具與模型存取方面，代理會在運行時從 50 多個支援 MCP（Model Context Protocol）的伺服器中動態獲取工具，新增能力只需註冊一次即可共用；模型呼叫則統一經過相容 OpenAI 介面的 GrabGPT Gateway，該網關前置接入五家模型服務商並統一注入憑證，避免應用程式碼硬編碼。 此外，該框架從首次程式碼提交即帶有評估端點，支援 ROUGE、BLEU 及模型評分。Grab 指出，過去開發推理循環僅需一個下午，但生產環境適配卻要兩週；LLM-Kit 透過集中解決金鑰、追蹤與評估等基礎設施問題，大幅降低了單一服務的技術決策負擔。