Cloudflare 稱 Workers AI 最佳化 Kimi K2.6、GLM 5.2：KV cache 容量翻倍，GLM checkpoint 縮小 40%

據 Cloudflare 單一來源披露，Workers AI 以 KV cache 量化、模型權重壓縮及共享快取保護，在不改變模型準確度的主張下，降低 Kimi K2.6 與 GLM 5.2 的推論記憶體需求及成本。相關實驗與正式流量均使用開源推論服務框架 SGLang，Cloudflare 並表示會將修補與新功能回饋至上游專案。 Kimi K2.6 原以 BF16 儲存 KV cache，改用 FP8 e4m3 後容量減半，可保留的上下文由約 68.6 萬 tokens 增至約 137 萬。這項量化並未直接提高同一併發量下的速度：在分離式 H200 decode 部署中，單一請求的 BF16 與 FP8 吞吐量分別為每秒 137 與 125 tokens，32 個請求時則為 1,558 與 1,489 tokens。 BF16 KV cache 在 32 個併發請求後已無法再接納第 33 個，FP8 則可擴至 64 個請求、達每秒 2,192 tokens，較 BF16 的最高吞吐量高約 41%，每 token 成本低約 30%。由於 prefill 受運算能力而非記憶體限制，Cloudflare 在 prefill 階段仍使用 BF16，僅在 decode 階段採 FP8。 Kimi K2.6 的評測結果中，BF16 與 FP8 KV cache 在 GSM8K 分別為 94.24 與 94.09、MMLU 為 89.11 與 89.04、MMLU-Pro 為 80.29 與 79.29，工具呼叫有效率則為 92.2% 與 92.6%；內部 mcxams 評測均通過 63 題中的 61 題。Cloudflare 據此稱兩種格式對模型回答品質沒有可辨識差異。 GLM 5.2 則將權重由 FP8 壓縮為 INT4，checkpoint 從 705 GB 降至 421 GB，縮小約 40%；在 8 路張量平行部署中，每張 GPU 的權重記憶體由約 88 GB 降至 52 GB，騰出的空間可容納約 118 萬 tokens 的 KV cache。 INT4 減少 decode 階段需要從 GPU 記憶體串流的權重資料量：單一併發請求的吞吐量由每秒 60 增至 92 tokens，提升 55%；在 8、16、32、64 個併發請求下，增幅分別為 21%、21%、27% 與 16%。但 INT4 權重在矩陣運算前必須展開，使 GLM 5.2 的 prefill 吞吐量由 FP8 的每秒約 10,160 tokens 降至 INT4 的 8,660，因此 Cloudflare 僅在 decode 使用 INT4，prefill 仍採 FP8。 GLM 5.2 的 FP8 與 INT4 權重在 GSM8K Exact Match 分別為 94.39% 與 93.56%、MMLU 為 86.60% 與 86.54%、MMLU-Pro 為 80.80% 與 80.47%，內部 mcxams 評測則都通過 63 題中的 62 題。Cloudflare 的文字說明稱所有評測差距不超過 0.8 分，但表列 GSM8K Exact Match 相差 0.83 個百分點。 上述兩項壓縮會讓更多請求同時讀寫同一實體 KV cache 的頁面；Cloudflare 表示其部署另加入共享快取保護，以處理數百個請求共用 GPU 記憶體時的隔離需求。這些效能、成本與品質結果目前未獲其他來源佐證。