NVIDIA 推出開源 Kubernetes 控制器 NVCRE：內建 NCCL 與 NeMo 測試，精確定位 GPU 叢集故障節點

NVIDIA 推出開源 Kubernetes 控制器 NVIDIA Cluster Readiness Engine (NVCRE)，用於在 AI 工作負載部署前驗證 GPU 叢集的就緒狀態。該工具旨在解決叢集雖通過標準健康檢查，卻在實際執行大規模分散式訓練（如 512-GPU 任務）時，因單一慢速 GPU 或網路降級而效能低落的問題。NVCRE 內建測試目錄包含五種 NCCL 通訊變體（如 all-reduce、all-gather）、DCGM level-4 診斷套件，以及使用 Nemotron 5 8B 與 56B 模型的 NeMo 預訓練測試。系統會自動偵測目標節點的 GPU 架構與平台以推導配置，並允許管理者使用通用表達式語言 (CEL) 自訂通過標準（如設定匯流排頻寬或 TFLOPs 閾值）。測試支援單節點 (Intra-node)、機架內 (Intra-rack) 及全規模 (Full-scale) 執行，能將硬體故障或效能未達標的結果精確歸因至特定節點。