vLLM
38 則報導橫跨 34 期2026-07-27 起
2026-11-17GitHub vllm-project/vllm
vLLM v0.34.0 發布:預設啟用可擴充 KV 快取、移除 Model Runner V1,並新增 Mistral Large 4 等 10 款模型
2026-11-15NVIDIA Developer
NVIDIA 實測兩台 GB300 DGX Station 部署 GLM-5.3 NVFP4,透過 vLLM 達 607.8 tok/s
2026-11-14Reddit r/LocalLLaMA
推論引擎 Tandem-vLLM 0.2.0 發布:支援以雙 24GB 顯卡運行 DeepSeek-V4.1-Flash,新增 Helper GPU 卸載架構
2026-11-12HF @nvidia
NVIDIA 釋出 Kimi-K3.1-Pro NVFP4 量化版,2.8T 多模態 MoE 六項評測與原權重差距皆在 0.5 分內
2026-11-11Reddit r/LocalLLaMA
Adventists AI 開源全雙工語音模型 Sophon-Realtime v1:32B 大腦分三種版本,Flash 首包延時 0.31 秒
2026-11-08Reddit r/LocalLLaMA
社群實測 Qwen3.8 27B 量化:8-bit KV Cache 記憶體砍半近乎無損,4-bit 長文本誤差劇增 30%
2026-11-04AI 前線
TokenSpeed 推理引擎面向 Agentic 負載重構:Blackwell 上 Kernel 達 SOTA,每用戶 100 TPS 時單 GPU 吞吐高 11%
2026-11-03GitHub vllm-project/vllm
vLLM v0.33.0 發布:新增 Reflection Beam-1.0、Step-5 等多款模型,改用 PyTorch 2.14 並移除 CUDA 12.9
2026-11-01Reddit r/LocalLLaMA
社群實測雙 DGX Spark 混搭 3090 運行 DeepSeek-V4.1-Flash:256K Prefill 逾 2,600 tok/s、四串流 JSON 達 322 tok/s
2026-10-31鈦媒體
NVIDIA 借助 AI 撰寫 1.2 萬行 Megakernel 最佳化 Kimi K3,推論提速 1.68 倍引發審查疑慮
2026-10-28Reddit r/LocalLLaMA
作者自建本地 GPU 評測伺服器,以兩張 RTX 5060 Ti 實測 4B 至 35B 開源模型的完整基準與耗時
2026-10-27Hacker News
Ubicloud 實測 vLLM 0.31 約束解碼:Kimi 與 DeepSeek 工具調用 Schema 準確率達 100%
2026-10-25GitHub ollama/ollama
Ollama 發布 v0.40.11:支援 macOS 原生語音生成,並引進 vLLM 2B 至 27B d3 決策模型
2026-10-24AI 前線
StartLux 開源決策模型專用推理引擎 Prism,單卡 H200 上最高提速 5.3 倍
2026-10-19GitHub vllm-project/vllm
vLLM 發布 v0.32.0:引進 Model Runner V2、全面擴展 NVFP4/FP8 快取並棄用 Python 3.10
2026-10-19iThome 中國
NVIDIA 透過 vLLM 最佳化 Kimi K3 推論效能,在 GB300 NVL72 上提升 1.68 倍達 423 tok/s/user
2026-10-13Reddit r/LocalLLaMA
Reddit 實測 Qwen3.8-Flash-Next:六張 RTX 3090 以 vLLM 容納 7 個 262k 上下文,總解碼 206 tokens/s
2026-10-13Reddit r/LocalLLaMA
Decision 3.0 發布 0.6B–27B 開放多模態模型,27B 據稱登上 Jev 雙榜首
2026-10-06GitHub vllm-project/vllm
vLLM 發布 v0.31.0:針對 DeepSeek-V4.1-Flash 效能最佳化,並推出 GPU 權重快取快速重啟功能
2026-09-30Reddit r/LocalLLaMA
vLLM 獲社群支援專家記憶體卸載,實測可於四張 R9700 運行 DeepSeek-V4
2026-09-27Hacker News
Privatemode 開源決策模型轉換方案,讓 GLM-5.3-Flash 實現單次前向傳遞輸出選項機率
2026-09-23Reddit r/LocalLLaMA
開發者解析 MiMo-V2.6-Flash 在 vLLM 的工具調用 Bug:修復空回覆與思考過程遺失,並揭露 2048 Token 輸出限制
2026-09-23GitHub vllm-project/vllm
vLLM 發布 v0.30.0:支援 DeepSeek-V4.1-Flash 等模型,引入 Fast Start 權重快取與 HiSparse 架構
2026-09-20Reddit r/LocalLLaMA
網友分享 Gemma 4 31B 推理速度最佳化方法,透過分支 vLLM 寫入自訂修補程式提升 TPS
2026-09-10Reddit r/LocalLLaMA
網友實測以 10 至 12 張 RTX 3090 運行 285B DeepSeek-V4-Flash-Vision-Exp,解碼速度最高達 120 tok/s
2026-09-10GitHub vllm-project/vllm
vLLM 發布 v0.29.0:預設啟用 MRV2,並支援 Hy4-preview、Qwen3.8 與 Kimi K3 等未曝光模型
2026-09-03HF Daily Papers
Salesforce 發表 Random Attention:保留提示詞並隨機丟棄 KV Cache,推理吞吐量提升 32-43%
2026-08-30量子位
實測揭露本地部署 LLM 效能衰退元兇:推理軟體堆疊差異導致長文本 Token 翻轉,NVIDIA NVFP4 錯誤率近半
2026-08-29Reddit r/LocalLLaMA
Tontaube 發布 2.9B 開源 TTS 模型 TontaubeV1:首包延遲 200ms,支援長文本與零樣本語音複製
2026-08-27GitHub vllm-project/vllm
vLLM 發布 v0.28.0:深度最佳化 Kimi-K3 與 DeepSeek V4 推論,並支援磁碟 KV 快取卸載
2026-08-25Hacker News
研究指 LLM 可透過推論引擎漏洞控制主機,vLLM 曾爆出 CVE-2025-9141 任意程式碼執行漏洞
2026-08-22Hacker News
開源 Qwen3-TTS 1.7B 實作:單張 H100 達成 10 RPS 下首音訊延遲低於 50ms,每百萬字元成本約 2 美元
2026-08-18InfoQ 中國
Netflix 詳述內部 LLM 服務平台:結合 Triton 與 vLLM,並自建邏輯解決受限解碼狀態同步問題
2026-08-14GitHub Trending (python)
Zero-Shot 語音生成模型 IndexTTS 發布 2.5 版:支援 5 種語言、升級音素與語速控制,並支援 vLLM 部署
2026-08-11GitHub vllm-project/vllm
vLLM 發布 v0.27.0:全面支援 Kimi K3 與 Qwen3.5,並針對 DeepSeek-V4 進行效能最佳化
2026-08-07Reddit r/LocalLLaMA
開發者將 vLLM 移植為 C++20 版本 vllm.cpp:免 Python 依賴,編譯體積僅 66 MiB
2026-07-28X @Xianbao_QIAN
Kimi K3傳首日支援vLLM
2026-07-27GitHub vllm-project/vllm