商湯大裝置日均 Token 服務量達 4.5 兆，異構混推架構朝 P/D 動態資源池與模組級拆分演進

據報導，商湯大裝置在「2026全球AI芯片峰会」分享異構混推技術演進，其日均 Token 服務量已從 2 月的 4,600 億增長至 8 月的 4.5 兆。為因應 Agent 時代長上下文與多輪對話需求，商湯構建涵蓋吞吐量、KV Cache 容量與頻寬的統一資源畫像，並在模型、引擎與晶片三層進行權重量化及 Attention/GEMM 運算子並行等最佳化。在資源調度上，系統正從固定的 Prefill/Decode（P/D）配比轉向動態資源池，依據實時負載與 KV Cache 狀態動態增減 P/D 節點，甚至進行角色切換。針對未來的多模態與 MoE 模型，商湯計畫進一步走向模組級資源池化，將 Encoder、Attention、FFN 及視覺編碼等模組拆分，各自依負載特點彈性擴縮容。