跳到主要內容
2026-11-06 日報
研究與評測

Hugging Face 發布 MoE 訓練完整手冊:Megatron-LM 操作流程與約 80 萬 GH200 GPU 小時實戰經驗

Reddit r/LocalLLaMA綜合 2 家報導多家報導
核實資料不足

多個報導來源提及此事;未必是彼此獨立的證據。

本次未取得足夠原文證據

Hugging Face 發布《The Ultimate MoE Training Handbook》,以 Megatron-LM 逐步說明混合專家(Mixture-of-Experts,MoE)模型的訓練方法,對象是已訓練過稠密模型、想進一步訓練 MoE 的讀者。第二章為 Megatron-LM 操作手冊,流程包括測試硬體、建置映像檔、訓練稠密基線,再於單一節點上訓練首個 MoE 並與基線比較。第三章拆解 MoE 層的各個組件,包括路由器(router)、路由機制、負載平衡、專家、區塊配置、訓練與系統,每一部分都提供 Megatron-LM 程式碼、需注意的指標、作者建議,以及前沿 MoE 模型的選擇。第四章延伸至推論部署與強化學習(RL),第三、四章不需要 GPU。內容所依據的實際經驗來自瑞士 CSCS 的 Alps 叢集,約 80 萬 GH200 GPU 小時的 MoE 訓練。作者表示,手冊中來自自家實驗的結果都有標明;有關前沿模型的主張則引用其論文、設定檔或程式碼,玩具模擬也另行標示。 同步釋出的資源包括:手冊本身、含 55 張圖的圖庫(Hugging Face Spaces),訓練腳本(GitHub Gist),以及整理在單一 Megatron-LM 區塊中的全部推薦參數。 此消息來自 Reddit r/LocalLLaMA 的轉發,另有 r/MachineLearning 上的作者貼文佐證,作者自稱為 Hugging Face 工程師,並參與過 Ultra-Scale 與 Smol Training Playbooks。
讀原始報導

背景

Megatron-LM 是 NVIDIA 提供的大型語言模型訓練框架參考實作,採用可自訂的 PyTorch 訓練迴圈,目標是把模型擴展到數十億到兆級參數的規模。混合專家模型(Mixture of Experts,MoE)的做法是讓多個專家網路各自負責問題空間的一部分;稀疏 MoE 每次只為輸入啟用部分專家,因此能在有限的計算成本下擴展模型。

來源