NVIDIA 透過 vLLM 最佳化 Kimi K3 推論效能，在 GB300 NVL72 上提升 1.68 倍達 423 tok/s/user
以 Cute DSL 編寫包含 1.2 萬行程式碼的解碼專用 Megakernel，突破 2.8 兆參數推論瓶頸，後續亦將最佳化 DeepSeek V4.1。
iThome 中國單一來源
完整日報
AI 日報 2026-10-19
29 則值得知道的變化
要聞
3 則微軟取消 Nscale 英國資料中心 2.3 萬顆 NVIDIA 晶片租賃，傳電網恐延至 2030 年代供電
Nscale 上月甫在美遞交 IPO 申請，微軟與 Anthropic 為其兩大主要客戶，此退訂重挫其估值數十億美元的上市計畫。
Techmeme綜合 2 家多家報導
vLLM 發布 v0.32.0：引進 Model Runner V2、全面擴展 NVFP4/FP8 快取並棄用 Python 3.10
新版預設啟用 /v1/systemone 結構化端點，ROCm 改以 MRV2 為預設，並新增 EmbeddingGemma 2 與多項安全性修復。
GitHub vllm-project/vllm一手來源