跳到主要內容
2026-11-14 日報
開發生態

TorchTitan 最佳化 1T MoE 訓練:384 顆 GH200 吞吐量提升 14 倍達每 GPU 1,300 tokens/s

Reddit r/MachineLearning單一來源
尚未逐項核實

目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。

工程團隊在社群發布與 PyTorch 及 TorchTitan 維護者的合作成果,展示在 JUPITER 超級電腦的 384 顆 NVIDIA GH200 上訓練約 1T 參數 MoE 模型的系統架構,將訓練吞吐量提升至每顆 GPU 每秒約 1,300 tokens,較初始基準提高 14 倍。 根據團隊公布的工程數據,在 JUPITER 超級電腦上,InfiniBand 單 GPU 頻寬僅約 25 GB/s(較 NVLink 慢 6 倍、較 Grace-Hopper C2C 慢 36 倍),導致初始基準測試中單步訓練耗時 84 秒,其中 68 秒耗在等待網路傳輸,GPU 長時間處於閒置狀態。 架構選擇上,團隊捨棄管線平行(PP)以消除大量 microbatch 導致的長步驟除錯延遲,改採 384 路 FSDP 搭配節點內 4 路專家平行(EP),將難以隱藏延遲的 token all-to-all 通訊嚴格限制在節點內,而跨節點的 FSDP 通訊則與當前層計算重疊隱藏。 為拉長序列長度以提高每單位傳輸量的計算密度,團隊採取三項記憶體配置:啟用全量 activation checkpointing 透過重算換取運算量(單項帶來 4 倍提升);經由 900 GB/s 的 C2C 連結將 activation 卸載至 Grace CPU 記憶體並提前一層預取;以每個參數僅需 1 個狀態的 Muon 取代需 2 個狀態的 Adam 最佳化器,最終將序列長度推進至 64k tokens。 針對 Muon 的 Newton-Schulz 正交化計算需要完整矩陣的限制,團隊利用 TorchTitan 的 FlexShard 機制將 MoE 專家矩陣按完整專家切分至個別 GPU,使各卡可在本機無通訊執行正交化,而 Attention 投影等密集矩陣的跨卡收集傳輸則在專家計算期間平行隱藏。
讀原始報導