Cloudflare 最佳化 AI 審查推論：單次成本降低 68% 至 0.77 美元，耗時縮短至 92 秒

Cloudflare 公布其內部 AI 程式碼審查系統的推論最佳化成果，在高強度審查條件下，單次平均審查成本從成本最高兩週的平均 2.43 美元降至 0.77 美元，降幅達 68%，審查時間中位數亦從 4 分 09 秒縮短至 1 分 32 秒。 該系統單次審查成本自 3 月的 1.22 美元逐月攀升，6 月增至 1.44 美元、7 月 1.74 美元，8 月底更達到約 2.46 美元。成本攀升部分來自工程師提交的變更更複雜，使最高階「完整審查」佔比從 3 月的 59% 提升至 8 月的 65%，但主因在於模型變更：8 月初系統將所有審查員切換至 Anthropic 模型，使單次成本由 1.38 美元升至 2.03 美元；其中內部標準審查員 Codex 採用 Claude Opus 4.7，單次費用從 0.25 美元激增至 0.88 美元。同期間每場審查處理的 Token 量從 91 萬暴增至 299 萬，即便快取命中率從 85.7% 升至 97%，整體支出依然倍增。 在著手最佳化前，該系統的推論支出結構為：輸出 Token 佔 23%、快取寫入佔 43%、快取讀取佔 34%。以程式碼品質審查為例，單次平均進行 16.6 次 LLM 呼叫，共寫入 7.2 萬快取 Token 並回讀 108 萬 Token。本次節省約 40% 來自審查程式碼本身的最佳化，其餘來自模型選用與投入強度的調校。架構上，Cloudflare 將審查工具從 OpenCode v1 重寫為 v2，在影子模式下取得 98% 決策一致性後於 10 月初全量上線，使完整審查速度提升 13%；同時著手修復提示詞快取前綴，解決 v1 因在跨儲存庫共享的 1.1 萬至 2.1 萬 Token 系統提示詞後緊接動態環境變數、導致首次請求快取命中率僅 14% 至 26% 的設計缺陷。