跳到主要內容
2026-11-17 日報
模型發布

vLLM v0.34.0 發布:預設啟用可擴充 KV 快取、移除 Model Runner V1,並新增 Mistral Large 4 等 10 款模型

GitHub vllm-project/vllm一手來源
核實資料不足

來源為發布方或研究資料;不代表所有主張已獲獨立核實。

本次未取得足夠原文證據

vLLM 發布 v0.34.0,共納入 412 位貢獻者的 1,061 個 commit。版本重點包括:預設啟用可擴充 KV 快取,依暖機後實際可用的記憶體決定快取大小;Model Runner V1 移除,Model Runner V2 成為唯一的 GPU runner;新增 10 款模型,包括 Mistral Large 4(1T 總參數/52B 活躍參數,提供 FP8 與 NVFP4)、MiniMax-M3.1-Flash、NVIDIA Nemotron-3.5-Transcribe(30B-A4B 語音模型)等。根據發布說明,可擴充 KV 快取在 H200 上讓 MiniMax-M3 的快取容量由 433k 提升至 672k token;但部分 H200 模型在併發 128 時每 token 解碼延遲上升 6–18%。效能方面,Step5 NVFP4 MoE 在 4×GB200 上解碼最高快 1.95 倍,GLM-5.3-Flash 輸出吞吐量較 DEP4 高 1.6 倍,GLM-5.3 在 32K–128K 長提示下 TTFT 快 1.24–1.40 倍。升級相容性方面,預設 --block-size 由 16 改為 64,ROCm 7.2 映像檔不再發布,並要求 huggingface_hub 2.0.0 以上、tokenizers 0.23.3 以上與 timm 1.0.30 以上;QuTLASS/fp_quant 與 Marlin W4A8 已移除,Keye-VL 系列模型也一併移除。以上內容均來自單一來源的發布說明,尚未有獨立來源佐證。
讀原始報導

背景

vLLM 是一套用於大型語言模型(LLM)的高吞吐量、記憶體使用效率高的推論與服務引擎。根據官方設計文件,vLLM V1 在實作後發現若干根本性的設計缺失與技術債,因此團隊重新實作模型執行器 MRV2,目標是在不改動 API 的前提下,讓程式碼更模組化、執行效率更好。

這則事件的發展

  1. 2026-11-03vLLM v0.33.0 發布:新增 Reflection Beam-1.0、Step-5 等多款模型,改用 PyTorch 2.14 並移除 CUDA 12.9

來源