跳到主要內容
2026-11-14 日報
研究與評測

推論引擎 Tandem-vLLM 0.2.0 發布:支援以雙 24GB 顯卡運行 DeepSeek-V4.1-Flash,新增 Helper GPU 卸載架構

Reddit r/LocalLLaMA單一來源
尚未逐項核實

目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。

據 Reddit 社群開發者發布的開源專案,Tandem-vLLM 0.2.0 正式上線,該專案為基於 vLLM 0.31 的 MoE 專家卸載(expert-offload)分支,將開源模型 DeepSeek-V4.1-Flash 的運行支援從原先僅限 Blackwell 架構,擴展至 Hopper(H100/H200)、Ada(RTX 40 系列與 RTX 6000 Ada)以及 Ampere(RTX 30 系列與 RTX A6000)。其運作機制是將路由專家以 2-bit 向量量化(每權重 2.1 位元,模型套件約 293 GB)存放在主機系統記憶體(RAM),GPU 快取熱門專家,未命中時則由 CPU 與 GPU 同步並行運算,過程不跳過或替換任何專家計算。新版本提供兩種雙卡模式,除了需要強大 CPU 的張量平行(Tensor Parallel),亦新增無需 NVLink 或 P2P 連接的「Helper GPU」模式,由第二張顯卡快取主卡未命中的熱門專家以減輕 CPU 負擔。根據開發者在 8 核心 AMD EPYC 7F32 CPU 上的測試,以限制記憶體模擬雙 24GB 顯卡(如 RTX 3090 或 4090 規格)執行 GSM8K 解碼時,Helper GPU 模式速度達 21.7 tok/s,優於單卡的 16.8 tok/s 及張量平行的 12.5 tok/s;單張 RTX PRO 6000 在 32 條串流下總吞吐量可達 414 tok/s。在模型品質方面,相較官方 FP4 權重的 81.3% GPQA-diamond 得分,全 2-bit 向量量化會降至 76.8%,但可透過保留每層前 52 個高頻專家為原始 FP4 精度挽回約一半差距;該專案最低硬體需求為主顯卡至少需 24GB 顯示記憶體(16GB 顯卡無法作為主卡)、128GB 以上系統記憶體、300GB 磁碟空間,並需配備支援 AVX2 或 AVX-512 的 CPU 與 CUDA 13 環境。
讀原始報導

這則事件的發展

  1. 2026-11-03ISTA 發布 DeepSeek-V4.1-Flash-1017 Coder 壓縮版:剪除一半專家、平均 1 bit 量化,LiveCodeBench v6 保留 98.7% 表現
  2. 2026-11-01社群實測雙 DGX Spark 混搭 3090 運行 DeepSeek-V4.1-Flash:256K Prefill 逾 2,600 tok/s、四串流 JSON 達 322 tok/s
本期分類