跳到主要內容
2026-11-15 日報
研究與評測

NVIDIA 實測兩台 GB300 DGX Station 部署 GLM-5.3 NVFP4,透過 vLLM 達 607.8 tok/s

NVIDIA Developer一手來源
尚未逐項核實

來源為發布方或研究資料;不代表所有主張已獲獨立核實。

NVIDIA 發布實測指南,展示利用兩台搭載 GB300 GPU 的 DGX Station,透過 vLLM 框架本地部署智譜 AI(Z.ai)的 GLM-5.3 NVFP4 量化模型,在並行負載下達到 607.8 tok/s 的推論吞吐量。該模型採用混合專家(MoE)架構,總參數量達 7,530 億(753B),每個 token 啟用 400 億(40B)參數。其 NVFP4 權重檔案約 464 GB,已超出單張 GB300 配備的 252 GB HBM3e 記憶體容量;為避免效能損耗,部署設定停用 CPU 權重卸載(offload),將完整權重常駐於雙機 GPU 記憶體中。硬體架構上,兩台 DGX Station 透過 ConnectX-8 網路卡以 400 Gb/s RDMA 直連(MTU 9000),並以張量平行(TP=2)將計算與張量均分至兩張 GB300。系統採用 vLLM 容器(版本 v0.30.0-aarch64),由 Station A(rank 0)提供相容於 OpenAI 的 API 端點,Station B(rank 1)則作為純計算 worker 協同運算。
讀原始報導

背景

NVFP4 採用區塊浮點(Block Floating Point, BFP)技術,將一組數值的尾數分配至單一指數,以此逼近浮點運算。這種架構有助於在硬體中減少空間佔用,使硬體在維持浮點運算功能的同時降低開銷。

社群討論

社群普遍質疑此套逾 20 萬美元、單台耗電達 1.6kW 的配置性價比偏低,指出採用 8 張 B6000 成本僅需一半且吞吐量高出 60%,並釐清 607 tok/s 實為 16 人並行的總吞吐量(單人僅約 35 tok/s,單用戶實測為 107 tok/s)。投資回報率(ROI)亦引發激烈分歧,有人按 API 價格試算回本期長達約 7 年並不划算,但也有人依高負載用量推估不到 1 年即可打平。支持者則強調,在金融、醫療等受高度監管或注重隱私與抗審查的情境下,在地部署所帶來的資料主權遠非單純租用 API 的成本所能衡量。

來源