研究與評測
英偉達提出全棧協同設計破解 AI 記憶體瓶頸:Vera Rubin NVL72 每美元智能體吞吐量最高提升 30 倍,HBM 僅增約 3%
iThome 中國單一來源
核實資料不足
目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。
本次未取得足夠原文證據
英偉達於 11 月 5 日發布技術解讀,指出隨著大模型參數規模、上下文長度與智能體應用快速成長,GPU 顯存壓力前所未有,HBM 供應趨緊、價格上升,且預期將持續一段時間。英偉達提出「全棧協同設計」理念,將 GPU、CPU、網路、儲存與軟體視為一個整體來設計,以提高記憶體在 AI 工廠各層級的價值。
推理時,HBM 需同時承載模型權重與 KV 快取。智能體工作流會在多次模型與工具呼叫間攜帶歷史上下文,部分場景需處理多達 300 萬個 token;RAG 又會把企業資料加入提示詞,進一步推高記憶體占用。英偉達比喻 HBM 為倉庫、記憶體頻寬為裝卸口,容量再大若資料進出跟不上,仍會形成「記憶體牆」。
具體做法包括:以 NVFP4 低精度格式壓縮模型權重與 KV 快取;在 NVL72 系統中將模型權重分散至最多 72 顆 GPU;利用 Vera CPU 的大容量 LPDDR 為暫停的上下文提供就近緩衝;由 Dynamo 推理軟體將不活躍上下文遷移至 CMX 上下文儲存,並於複用前取回;RAG 索引則保留在 CPU 與儲存端,避免長期占用 HBM。
英偉達援引 SemiAnalysis AgentX 基準指出,在每用戶每秒 125 token 條件下,Vera Rubin NVL72 相較 GB300 NVL72 的每美元智能體吞吐量最高提升 30 倍,而每 GPU 的 HBM 容量僅增加約 3%。另據其數據,GB300 NVL72 相較 H200 平台,在每用戶每秒 100 token 條件下,每美元吞吐量最高提升 10 倍。英偉達據此認為,AI 算力競爭的關鍵正從「顯存多少」轉向「每位元組、每瓦特能產出多少有效 token」。
注意:以上數據均來自英偉達官方技術解讀與其所引用的 SemiAnalysis 基準,目前僅有單一來源報導,尚未有獨立第三方驗證。
讀原始報導