研究與評測
TokenSpeed 推理引擎面向 Agentic 負載重構:Blackwell 上 Kernel 達 SOTA,每用戶 100 TPS 時單 GPU 吞吐高 11%
AI 前線單一來源
核實資料不足
目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。
本次未取得足夠原文證據
TokenSpeed 獨立貢獻者尚旭春在 AICon 2026 深圳站分享該推理引擎的設計路徑。報導指出,Agent 負載由多輪短請求循環構成,首輪可能帶幾十 K 前綴,後續輸出常僅數百 token,因此優化目標應是延遲約束下的吞吐。團隊內部以每用戶 TPS 不低於 70 為約束。以 TensorRT-LLM 為基準,batch size 為 1 時端到端延遲快 9%;每用戶 100 TPS 的工作點上,每 GPU 吞吐高 11%。上下文由 128K 擴至 1M,解碼吞吐僅下降 16%。
架構分為控制面(C++)、Runtime(Python)與獨立 Kernel 子包。控制面以覆蓋請求全生命週期的狀態機管理資源,狀態包括 submitted、prefilling、decoding、retracting/timeout 與 finished,並以 unique_ptr move 語義與 RAII 管理 KV 頁與 SSM/MLA slot。並行切分則抽離為 Placement 系統,模組宣告 replicate、shard 或 partial 屬性,編譯器自動插入 all-reduce、all-gather 或 reduce-scatter 等通信原語。
KV Cache 方面,第一版借鑑 SGLang 採用 Radix Tree,適配 Kimi K3 時發現其與 Mamba 類模型及 Sliding Window Attention 的存取模式衝突,遂改為 Flat KV 設計,統一打包為等大 block。第一版以 1536 token 為一個 block,長上下文下碎片問題明顯;後改為邏輯塊 128、物理塊 1536 的雙層設計。快取搶佔接入 Mooncake KV Store;PD 分離由逐層傳輸改為可自訂層數打包,以提升 RDMA 頻寬利用率。
Kernel 針對 MLA 的 decode 階段,因 query 維度為 1,矩陣乘法退化為向量乘法,造成 Tensor Core 浪費。TokenSpeed 在 Blackwell 上編寫 Tensor Memory 分配器,並引入折疊因子(fold factor),在 head 數小於 128 時合併 query 以提升利用率。目前該 Kernel 被 vLLM 社區採為 Blackwell 預設套件。
注意:以上數據多為作者團隊內部或阶段性測試結果,基準條件與硬體配置的完整細節未在材料中完整呈現,且目前僅單一來源報導。
讀原始報導背景
文中用來對比的 TensorRT-LLM,是 NVIDIA TensorRT 生態系的組成之一,與 TensorRT SDK、NVIDIA Model Optimizer 等工具並列。