跳到主要內容
2026-11-10 日報
研究與評測

Amazon 提出 HOPE 二階專家剪枝法:考量專家間協作關係,50% 剪枝下平均排名最佳

HuggingFace Blog一手來源
核實資料不足

來源為發布方或研究資料;不代表所有主張已獲獨立核實。

本次未取得足夠原文證據

Amazon 研究團隊在 Hugging Face 部落格發表 HOPE(Higher-Order Pruning of Experts),針對混合專家(MoE)語言模型提出二階專家剪枝方法。MoE 模型的主要記憶體負擔來自專家 MLP:以 Qwen3.5-122B 為例,其 48 個 MoE 層各有 256 個專家,約 250 GB 參數中有 95% 由專家佔用,但每個 token 每層只啟用 8 個。專家剪枝可永久刪除低用量專家,無需訓練、避開動態載入的延遲,並能與量化組合。 既有剪枝方法多為一階方法,對每個專家單獨給予重要性分數後逐層刪除,假設專家之間互不影響。作者指出,專家實際上會形成穩定的協作群組並持續共同啟用,忽略這種互動在高剪枝率下會造成次佳結果。HOPE 以專家兩兩之間的交互項建構二次規劃(QP)問題,尋找在校準資料集上使剪枝誤差最小的剪枝集合,並以連續鬆弛後四捨五入求得二元解。作者表示,在 50% 剪枝率下 HOPE 取得所有方法中最佳的平均排名,在智慧代理程式編碼任務上較次佳的剪枝方法最多高出 6.1%。文中另以 GLM-4.5-Air 的交互矩陣視覺化,顯示不同層的專家協作結構具有明顯的區塊特徵。 目前僅有 Hugging Face 部落格單一來源,上述成效數據為作者自行實驗結果,尚未有獨立驗證。
讀原始報導

背景

混合專家模型(MoE)能把大型語言模型擴充到數千億參數,但推論時所有專家都得佔用記憶體。例如 Qwen3.5-122B 每層有 256 個專家,每個 token 只用其中 8 個,專家參數卻占了約 95% 的記憶體。剪枝是直接永久刪除較不重要專家的解法,但現有方法多半獨立評估每個專家,忽略了專家之間的協同合作,HOPE 則納入成對專家之間的交互作用。

來源