開發生態
Together AI 推出 GPU 叢集自動修復:結合 VM 與主機雙側檢測,支援依故障代碼設定修復原則
Together AI一手來源
核實資料不足
來源為發布方或研究資料;不代表所有主張已獲獨立核實。
本次未取得足夠原文證據

Together AI 正式推出 Together GPU Clusters 的自動節點修復功能(Automatic node remediation),旨在解決分散式訓練與推論叢集因 GPU 故障、雙位元 ECC 錯誤、PCIe 掉卡或 InfiniBand 鏈路抖動引發的停機問題。
該系統捨棄傳統僅依賴 Kubernetes「NotReady」狀態的觸發機制,內建斷路器以防止儲存或網路事件引發大規模誤換節點,並要求所有修復必須基於具體的健康檢查證據。整體流程分為檢測故障、決策處理時機、執行修復,以及在實體主機端重新驗證機器等四個階段。
檢測架構同時覆蓋虛擬化環境雙側:在 VM 內部,透過核心日誌監測 Xid 錯誤與 PCIe 掉卡,利用 DCGM 追蹤雙位元 ECC、列重映射失敗、PCIe 重傳率與熱節流,並以 Node Problem Detector 監看唯讀檔案系統與核心死結,Slurm 叢集則匯報 DOWN 或 DRAIN 狀態;在實體主機端,直接監控所屬 VM 的 InfiniBand rail 狀態、鏈路抖動與主機連線能力。
在決策機制上,平台負責將故障訊號對應至最輕量修復方案。使用者端預設為「修復前需審批」,可自訂切換為全自動,並支援依特定錯誤代碼設定白名單(例如允許 Xid 119 與 95 自動重啟,但將遷移維持人工審批)。為避免干擾訓練,系統設有「等待閒置」機制,會待 Kubernetes 無 GPU Pod 或 Slurm 無指派任務時才動工,等待上限預設為 2 小時、最高 24 小時,亦可設為完全不中斷執行中的任務。
目前被動健康檢查、修復建議、原則控制與 API/主控台操作已正式全面開放(GA);支援串接 NVSentinel 或自訂控制器的節點標籤合約修復介面則處於預覽階段(Preview)。
讀原始報導背景
在高效能運算架構中,具備高吞吐量與極低延遲特性的 InfiniBand 常被用作伺服器與資料互連的網路標準。然而在大規模 GPU 叢集中,諸如 Xid 錯誤訊息或 InfiniBand 連線異常等硬體問題,常會直接導致分散式訓練任務停滯或推論服務中斷。