開發生態
Cloudflare AI Gateway 推出 Auto Router 公測版:以邊緣分類器動態分流模型,但 8KiB 上下文限制引發隱性成本爭議
AI 前線單一來源
尚未逐項核實
目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。
Cloudflare 透過旗下 AI Gateway 推出 Auto Router 公測版,開發者將模型名稱指定為 cloudflare/auto 即可啟用動態分流。路由流程分為兩階段:第一階段先依請求格式、憑證、計費、存取控制與支出上限篩選出候選模型池;第二階段則透過 Workers AI 於 Cloudflare 邊緣 GPU 上運行多頭分類模型,針對 14 類任務計算機率,並從複雜性、歧義性、風險程度與前文依賴度四個維度給予 1 至 5 級評分,最後依公開公式「效用 = 預期品質 - 自適應成本懲罰」決定分流目標。
Auto Router 分類時僅採納最近幾輪對話,文字上限為 8KiB,任務難度越高則價格權重越低。在包含 97 項任務(各模型採樣 3 次、進行 1 萬次 Bootstrap 重採樣)的基準測試中,可靠性提升約 10 個百分點,成本降至原本的三分之一。
然而這套機制引發實務工程質疑。智能體工程 CTO Jacques B 指出,若便宜模型出錯需要人工額外花費一小時修正,實際上並未節省成本。技術主管 Igor Pyrin 則點出 8KiB 與偏重末輪的限制存在風險:在銀行或醫療等長對話中,若前期指示「這是客戶退款」而末輪僅給予「繼續執行」,精簡上下文可能導致系統誤判為低風險指令而選用低階模型。
會話處理與維護亦具隱性成本。未傳送會話 ID(Session ID)時,同對話的不同請求可能路由至不同模型,導致提示詞快取無法重用;Cloudflare 因而設計了隨上下文長度增加的模型切換懲罰,防止因新模型重新生成推論 Token 而增加輸出計費。社群評論者亦指出,評分矩陣權重來自基準測試,無法隨模型迭代自動更新,且新模型必須手動加入矩陣。
在稽核與控制方面,API 回應標頭會帶入 cf-aig-routed-model 與 cf-aig-routing-reason(如 cost_optimal_within_pool 或 pinned_by_turn)以供查驗,請求時也可透過標頭 cf-aig-allowed-models 和 cf-aig-allowed-providers 限定單次呼叫的模型池,但目前無法存為常態設定檔。目前預設候選池包含 Claude Opus 5、Sonnet 5、Fable 5,以及 GPT-5.6 Luna、Sol、Terra 與 Grok 4.5;基準測試中的對照組 Opus 5.5 與 GPT-6 Sol 則需手動指定。Auto Router 公測期間免費,目前支援 Chat Completions 與 Responses API,不支援 WebSocket,後續路線圖預計推出不計成本直接選用最高品質模型的 cloudflare/auto-best。
讀原始報導