vLLM v0.33.0 發布:新增 Reflection Beam-1.0、Step-5 等多款模型,改用 PyTorch 2.14 並移除 CUDA 12.9
本版共 927 次提交、389 位貢獻者,新增十餘款模型支援,並加入 AWS EFA 映像檔,多節點 KV 傳輸可直接在 EFA 環境部署。
GitHub vllm-project/vllm一手來源
30 則值得知道的變化
本版共 927 次提交、389 位貢獻者,新增十餘款模型支援,並加入 AWS EFA 映像檔,多節點 KV 傳輸可直接在 EFA 環境部署。
此版本保留 384 個路由專家中的 192 個,權重檔 72.1 GB,相較未剪枝 IQ2_XXS 版的 138.2 GB 約減半;SWE-bench Verified 則保留 94.8%。
Qwen 負責人稱未來 4.0、5.0 仍會開源,並公布累計下載逾 30 億次、開源模型逾 460 個、衍生模型逾 30 萬個。