NVIDIA 透過 vLLM 最佳化 Kimi K3 推論效能，在 GB300 NVL72 上提升 1.68 倍達 423 tok/s/user

據市調機構 SemiAnalysis 報導，NVIDIA 透過一項針對開源推論框架 vLLM 的上游最佳化，使參數量達 2.8 兆的 Kimi K3 模型實現 423 tok/s/user 的推論速度。在相同的 GB300 NVL72 硬體環境下，推論效能較原先提升 1.68 倍。 該最佳化由 NVIDIA CentML 工程師 Benjamin 完成，技術核心為大規模 Megakernel 融合，採用 Cute DSL 編寫 NVIDIA 新推出的解碼專用核心（kernel），程式碼規模達 1.2 萬行。此外，報導指出 NVIDIA 目前也在為 vLLM 開發 DeepSeek V4.1 等其他模型的推論最佳化。