模型發布
vLLM v0.34.0 發布:預設啟用可擴充 KV 快取、移除 Model Runner V1,並新增 Mistral Large 4 等 10 款模型
GitHub vllm-project/vllm一手來源
核實資料不足
來源為發布方或研究資料;不代表所有主張已獲獨立核實。
本次未取得足夠原文證據
vLLM 發布 v0.34.0,共納入 412 位貢獻者的 1,061 個 commit。版本重點包括:預設啟用可擴充 KV 快取,依暖機後實際可用的記憶體決定快取大小;Model Runner V1 移除,Model Runner V2 成為唯一的 GPU runner;新增 10 款模型,包括 Mistral Large 4(1T 總參數/52B 活躍參數,提供 FP8 與 NVFP4)、MiniMax-M3.1-Flash、NVIDIA Nemotron-3.5-Transcribe(30B-A4B 語音模型)等。根據發布說明,可擴充 KV 快取在 H200 上讓 MiniMax-M3 的快取容量由 433k 提升至 672k token;但部分 H200 模型在併發 128 時每 token 解碼延遲上升 6–18%。效能方面,Step5 NVFP4 MoE 在 4×GB200 上解碼最高快 1.95 倍,GLM-5.3-Flash 輸出吞吐量較 DEP4 高 1.6 倍,GLM-5.3 在 32K–128K 長提示下 TTFT 快 1.24–1.40 倍。升級相容性方面,預設 --block-size 由 16 改為 64,ROCm 7.2 映像檔不再發布,並要求 huggingface_hub 2.0.0 以上、tokenizers 0.23.3 以上與 timm 1.0.30 以上;QuTLASS/fp_quant 與 Marlin W4A8 已移除,Keye-VL 系列模型也一併移除。以上內容均來自單一來源的發布說明,尚未有獨立來源佐證。
讀原始報導背景
vLLM 是一套用於大型語言模型(LLM)的高吞吐量、記憶體使用效率高的推論與服務引擎。根據官方設計文件,vLLM V1 在實作後發現若干根本性的設計缺失與技術債,因此團隊重新實作模型執行器 MRV2,目標是在不改動 API 的前提下,讓程式碼更模組化、執行效率更好。