跳到主要內容
2026-11-17 日報
研究與評測

NVIDIA Vera Rubin NVL72 在 MLPerf Endpoints v1.0 推論測試中,每千瓦吞吐量達 GB300 NVL72 的 10 倍以上(Kimi K3)

NVIDIA Developer綜合 3 家報導一手來源
核實資料不足

來源為發布方或研究資料;不代表所有主張已獲獨立核實。

本次未取得足夠原文證據

NVIDIA 公布 Vera Rubin NVL72 在 MLPerf Endpoints v1.0 的初步推論成績。在共同最低端到端互動性每使用者 50 tokens/sec 的條件下,Vera Rubin NVL72 的每千瓦已配置功率吞吐量超過 GB300 NVL72 的 10 倍,測試模型為 Kimi K3。此為 Standardized division、Available category 的結果,GB300 數據已由 MLCommons 驗證,Vera Rubin 結果則為暫定,待 MLCommons 驗證與同儕審查,數值可能變動。 依 NVIDIA 提供的 Table 1,三個測試模型的比較如下:Kimi K3 每千瓦吞吐量約 10 倍、互動性約 3 倍;DeepSeek-V4.1-Flash 每千瓦吞吐量約 9 倍、互動性約 5 倍;Qwen3.6-35B-A3B 每千瓦吞吐量約 5 倍、互動性約 3 倍。以 Kimi K3 在 1,024 併發查詢下的記錄為例,Vera Rubin 的 E2E 平均互動性為 50.4 tokens/sec/使用者、系統吞吐 41,414.2 tokens/sec、TTFT P90 為 4,673.9 ms、運作功率 100.89 kW(32 顆加速器);GB300 同併發下為 16.8 tokens/sec/使用者、系統吞吐 13,905.8 tokens/sec、TTFT P90 為 15,223.0 ms、功率 60 kW(48 顆加速器)。 MLPerf Endpoints 以程式開發與企業工作流為情境,透過 API 端點測試。效能執行時會核對模型產生的工具呼叫與工作流意圖是否符合參考值,另以 SWE-bench Verified 評估端到端任務解題能力,以確認加速後模型品質是否維持。 另有兩家來源補充:NVIDIA 同時宣布 Vera Rubin 首次參加 MLPerf Training v6.1,在七項基準中有六項取得最快訓練時間,相較高度最佳化的 GB300 NVL72 基線最多快 2 倍;第七項 DeepSeek-V3 671B 則由 10,240 顆 GB300 NVL72 叢集拿下全場最快成績。NVIDIA 另表示,Vera Rubin 效能將透過 CUDA 軟體堆疊持續最佳化而提升。
讀原始報導

背景

MLPerf 是 MLCommons 推動的 AI 效能基準測試體系,此次的 MLPerf Endpoints 專門評測 LLM 推論端點(API 服務)的效能。根據搜尋到的 CentML 開源專案說明,這類工具用於量測推論端點的吞吐量,目標是處理每秒 5 萬次以上的查詢。

來源