跳到主要內容
2026-10-30 日報
研究與評測

SkyPilot 發文指 NVL72 機架級 NVLink 可讓多節點訓練多出 27% 可用 GPU,關鍵在拓撲感知排程

Hacker News單一來源
核實資料不足

目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。

本次未取得足夠原文證據

SkyPilot 部落格文章指出,多節點 AI 工作負載若改走 InfiniBand 而非 NVLink,同樣的分散式訓練可能下降 43%。傳統 NVLink 僅限單一節點內通訊,跨節點需依賴 InfiniBand 或雲端等效方案(AWS 為 EFA、GCP 為 GPUDirect-TCPX)。NVIDIA NVL72 將機架內 72 顆 GPU 以統一 NVLink 架構串接,使不同節點的 GPU 可以交換資料,頻寬據稱高出一個數量級。 文章強調,NVL72 的效益高度依賴工作負載放置:若多節點任務跨越多個機架,仍會受 InfiniBand 限制。硬體故障導致節點離線,以及任務完成時間不一致造成的閒置資源分散,都會使維持機架內局部性(rack-locality)變得困難。 在訓練端,張量平行(TP)的 all-reduce 與專家平行(EP)的 all-to-all 位於關鍵路徑上,因此最需要留在 NVLink。文中引用 Hugging Face 的測量,張量平行移出 NVLink 改走 InfiniBand 後訓練吞吐量下降 43%;在 8 卡伺服器上以 64 路專家平行訓練 MoE 時,未最佳化的通訊可能佔去多達 60% 訓練時間,NVL72 則可讓 64 顆 GPU 位於同一 NVLink 域內。 在推論端,文章引用 vLLM 的基準:將模型以張量平行切分到兩顆 GPU,KV cache 區塊數增加 13.9 倍、吞吐量提升 3.9 倍。WideEP(跨節點的專家平行)可減少每顆 GPU 的專家數,但 all-to-all 流量隨之增加;在標準 8 卡伺服器上,專家平行群組超過八顆 GPU 就須經 InfiniBand,每 GPU 頻寬下降 18 倍。文中宣稱,以互動速度服務 DeepSeek-R1 時,GB200 NVL72 搭配 32 路專家平行可帶來最高 4.4 倍吞吐量。 文章另介紹 SkyPilot Platform 的拓撲感知放置、硬體故障原地復原與共享叢集自動碎片整理,以維持多節點任務的機架內局部性。標題所稱的「27% 更多可用 GPU」出現在原始標題中,但本文摘錄未見其詳細計算方式,目前僅為單一來源、未經獨立驗證的說法。
讀原始報導

背景

NVLink 是 NVIDIA 的 scale-up 網路架構,提供 GPU 之間的高頻寬通訊,主要用於 AI 訓練、推論及其他機架級 GPU 加速工作負載。

社群討論

社群對這篇文章的評價偏負面,多數人認為其所描述的 gang scheduling 與 topology-aware scheduling 早已是 HPC 與 Kueue 等既有做法,文章缺乏實質技術細節,被批評為行銷或 SkyPilot 的軟文。作者 zhwu 回應指出重點在 NVL72 機架的故障與熱替換問題,並說明其方案是以 16 節點切片原子化放置、每機架保留兩個備援,同時坦言 Kueue TAS 不支援 elastic job,因此另有後續文章;另有人提議開源排程器,並就「O(millions)」的寫法展開語意討論。

來源