vLLM 發布 v0.32.0：引進 Model Runner V2、全面擴展 NVFP4/FP8 快取並棄用 Python 3.10

開源推論框架 vLLM 正式發布 v0.32.0 版本，整合 814 次程式碼提交，全面重構推論架構並擴大低精度 KV 快取（KV cache）支援。推論核心方面，Model Runner V2（MRV2）正式成為 ROCm 平台的預設執行器，支援可變長度 draft 的 GPU n-gram 投機解碼、Elastic EP，以及針對 MLA 模型的管線平行與預填入上下文平行（prefill context parallelism）。在低精度快取部分，NVFP4 KV 快取擴展至 NVIDIA SM8x、SM12x、SM90 與 SM100 架構；GLM-5.x 在 SM100 上預設採用 FP8 KV 快取，每 Rank 記憶體用量減半且吞吐量提升 2.3% 至 5.5%（TTFT 增加 7% 至 11%）；ROCm 則新增 4-bit ultraquant_4bit KV 快取，密度約為 FP8 的兩倍。此外，新版預設啟用 POST /v1/systemone 結構化決策端點，新增 Hugging Face 通用工具與推論解析器（--tool-call-parser hf），並正式支援 EmbeddingGemma 2 全模態嵌入模型、MiniCPM-V 4.7 及 Nemotron 3.5 ASR。破壞性變更方面，此版本正式棄用 Python 3.10，預設限制 CORS 存取來源，預設 Docker 映像檔切換至 CUDA 13.0，並修補了 GHSA-4hhp-h66f-j5j7 等聊天範本與 socket 資源耗盡安全漏洞。