模型發布
vLLM v0.33.0 發布:新增 Reflection Beam-1.0、Step-5 等多款模型,改用 PyTorch 2.14 並移除 CUDA 12.9
GitHub vllm-project/vllm一手來源
核實資料不足
來源為發布方或研究資料;不代表所有主張已獲獨立核實。
本次未取得足夠原文證據
vLLM 發布 v0.33.0 正式版,本版共納入 927 次提交、來自 389 位貢獻者(其中 122 位為新貢獻者)。新增模型支援包括 Reflection Beam-1.0(501B MoE,活躍參數 23B,並附 DFlash2 草稿模型)、Yandex AliceAI-Foundation-80B-A3B、Recursive Flint(40B MoE,活躍參數 2.5B)、Muse Spark Open、Step-5 Preview、NVIDIA Alpamayo 2 Super、Nemotron-Labs Dory1.0-4B、Nemotron Parse 3.5、MiniCPM-OCR 1.0、Domyn Edge,以及視覺文件檢索模型 ColUltraVBERT。
版本基礎環境同步升級:vLLM 改用 PyTorch 2.14.0,搭配 torchvision 0.29.0 與 Triton 3.8.0;預設發行映像與 wheel 僅提供 CUDA 13.0,CUDA 12.9 的 wheel 與 -cu129 映像不再發布,使用者需改用預設的 CUDA 13.0 產物。CUDA wheel 也已與 libtorch 達成 ABI 穩定。
部署方面,新增 vllm/vllm-openai:v0.33.0-efa 映像(支援 x86_64 與 aarch64),內含 AWS EFA 函式庫與 EFA 版 Mooncake 傳輸引擎,適用於支援 EFA 的 EC2 執行個體上的 KV 傳輸與多節點推論。所有映像另有 vllm/vllm 短名稱別名。
破壞性變更包括:移除 Medusa 與 MLP speculator(#61701)、移除舊版 Ray compiled-graph 執行器、`--mamba-cache-mode` 棄用、暫停生成期間送出的請求改回 HTTP 503、NIXL connector 需 NIXL 1.5 以上版本,以及 LM Format Enforcer 與 `--ir-op-priority` 棄用。
效能方面,投機解碼的 DFlash/DSpark 不再於 token budget 中保留草稿槽位;發布說明引用 PR 基準,DeepSeek-V4.1-Flash + DSpark 在 GB300 上輸出速率由 1373 提升至 3390 tok/s(此為 PR 內的測試數據)。AMD 端預設 ROCm 映像升至 ROCm 10.0,並保留 ROCm 7.2 版本。
讀原始報導背景
DFlash 是一種推測解碼(speculative decoding)框架,使用輕量的區塊擴散(block diffusion)模型進行平行草稿生成。Mooncake 是用於推論叢集的服務平台,其 Transfer Engine 是高效能、零拷貝的資料傳輸函式庫,可在叢集間傳輸 KV 快取。