開發者解析 Agentic AI 成本陷阱：快取失效重載百萬 Token 上下文，一句問候恐耗費 1 美元

開發者 Evan A. Frick 解析 Agentic AI 的上下文快取（Context Caching）成本機制指出，在 Agent 任務中暫離一小時後輸入一句簡單的「hi」，可能因快取冷卻（Cache miss）而產生高達 1 美元的費用。 這筆費用並非來自簡短的問候，而是因為系統必須以原價重新載入高達百萬 Token 的上下文。分析顯示，快取命中（Cache hits）通常只需全額價格的約 10%。 Agentic AI 的來回互動頻率遠高於一般對話，即使只是 1 個 Token 的工具呼叫（Tool call），在快取失效時仍需支付全額的上下文費用。此外，即使在有快取機制的情況下，整體成本仍會隨對話長度呈平方增長。 為降低成本，上下文壓縮（Context compaction）成為關鍵。這也是為何如 Claude Code 或 Codex 等工具，傾向在 20 萬至 30 萬 Token 時就進行上下文壓縮，而非用滿 100 萬 Token 的上下文視窗。