跳到主要內容
2026-11-19 日報
研究與評測

Dharma AI 與 Hugging Face 實測 272 場 H200 微調作業:傳統 FLOPs 估算誤差逾 12 小時,CatBoost 預測將 MAE 降至 1.7 小時

HuggingFace Blog一手來源
尚未逐項核實

來源為發布方或研究資料;不代表所有主張已獲獨立核實。

Dharma AI 於 Hugging Face 部落格預告即將發表於 arXiv 的研究,針對生產環境中 272 場 NVIDIA H200 叢集的真實監督式微調(SFT)作業(累計 7,382 GPU 小時)分析端到端耗時偏差。團隊指出,業界通用的 FLOPs 經驗公式僅計算訓練迴圈,忽略了環境配置、模型下載、定期評測(evaluation)、檢查點上傳(checkpoint I/O)及多租戶資源競爭等開銷;實測顯示 FLOPs 基準在 MFU 30% 下的決定係數 R² 僅 0.31、平均絕對誤差(MAE)達 12.41 小時,MFU 設為 60% 時 R² 更跌至 0.01,調度模擬工具 Calculon 的 MAE 亦達 20.36 小時。研究團隊改採機器學習迴歸,僅使用排程派發前已知的 24 個特徵(包含 15B 內模型參數、LoRA 或全量微調、評測取樣量、檢查點儲存頻率與參數量、單 GPU token 負載及 Hugging Face Transformers 或 Unsloth 框架),透過 CatBoost 在 5 折交叉驗證中取得 R² = 0.98、MAE 1.71 小時與中位數誤差 0.51 小時,遠優於線性迴歸的 7.52 小時與 XGBoost 的 1.95 小時。
讀原始報導
本期分類