研究與評測
NVIDIA 提出 Reshard 集體通訊:以 DTensor 重構 RL 權重同步,消除高達 10TB 傳輸瓶頸
NVIDIA Developer一手來源
尚未逐項核實
來源為發布方或研究資料;不代表所有主張已獲獨立核實。

在強化學習(RL)後訓練中,推論與訓練通常部署在不同的 GPU 叢集以提高效率,訓練 GPU 必須在每一步定期將最新權重同步至推論 GPU,此流程稱為 weight refit。現行主流做法採用「全收集後廣播」(gather-and-broadcast),先由訓練 GPU 透過 all-gather 組裝出完整參數張量,再廣播給所有推論 GPU 保留各自所需分片。由於推論 GPU 會接收到多餘的參數,其邏輯通訊酬載約為模型權重大小的兩倍。以 BF16 格式計算,擁有 2.8 兆參數的 Kimi K3(權重 5.6 TB)每次同步需傳輸約 11.2 TB,而 2.4 兆參數的 Qwen 3.8 2.4T A95B(權重 4.8 TB)傳輸量亦達約 9.6 TB,使現今開源大模型的每步 refit 酬載達到約 10 TB。
為解決此冗餘傳輸,NVIDIA 提出 Reshard 集體通訊,將權重同步重新表述為 PyTorch DTensor(分散式張量)之間的轉換問題。系統透過全域形狀、裝置網格(device mesh)與分佈配置(placements),直接比對來源與目標分片的重疊區域,僅傳輸理論最小資料量。舉例而言,若 8x8 權重矩陣在 2 顆訓練 GPU 採列分片(每顆 4x8),並需轉移至 4 顆採行分片的推論 GPU(每顆需 8x2),目標 GPU 僅需向每個來源 GPU 接收對應的 4x2 區域即可完成拼裝。該技術的開源參考實作 NCCL M2N Reshard 已發布於 GitHub 的 NVIDIA/nccl-extensions 儲存庫。
讀原始報導背景
在大型語言模型的強化學習(RL)後訓練中,為提高運算效率,通常將推論與訓練任務分散在不同的 GPU 資源上獨立平行運作,並需週期性將更新的權重同步至推論端(此程序稱為 refit)。由於推論與訓練的平行化切分架構不同,傳統採用全域收集後再廣播的做法,會在 GPU 之間造成龐大的冗餘資料傳輸負擔。