研究與評測
SC26 論文《八卦爐 2》:萬卡叢集執行期自適應化解顯存尖峰,免改設定、程式碼已開源
機器之心單一來源
核實資料不足
目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。
本次未取得足夠原文證據
機器之心報導,SC26 會議論文《八卦爐 2》提出一套讓萬卡叢集在執行期自適應化解顯存尖峰的系統,據報導無需修改設定即可運作,相關程式碼已開源。目前僅有單一來源,尚無其他報導或實測數據佐證,顯存尖峰的改善幅度、適用的模型與硬體條件等細節均未見說明。
讀原始報導背景
八卦炉 2(BaGuaLu-2)是一套針對大規模、細粒度 Mixture-of-Experts(MoE)訓練的訓練系統擴充,用來管理激活值(activation)的記憶體壓力。它與 Megatron-LM 整合,加入感知流水線的激活值卸載與重載(offload/reload)、交錯式 1F1B 排程、解析式激活值記憶體模型,以及修補過的 Transformer Engine 運算子。