研究與評測
NVIDIA 實測 DGX Spark 上的 MoE 推論最佳化:結合 Humming 核心與 FP8 LM Head 使吞吐量提升 21.7%
NVIDIA Developer一手來源
核實資料不足
來源為發布方或研究資料;不代表所有主張已獲獨立核實。
本次未取得足夠原文證據

NVIDIA 開發者部落格發布在 DGX Spark 平台上最佳化 MoE(混合專家模型)推論效能的技術實測,以 Inclusion AI 的 Ling-3.0-flash-fp4 為對象,透過 Humming 核心與線上 FP8 LM Head 量化,成功將解碼吞吐量提升 21.7%。Ling-3.0-flash-fp4 總參數量為 1,240 億(124B),每個 token 啟用 51 億(5.1B)參數,架構包含 35 層 Kimi Delta Attention(KDA)線性注意力層與 7 層 MLA 潛在注意力層共 42 層,每層將 token 路由至 512 個專家中的 8 個並搭配 1 個共享專家,原生上下文視窗為 256K、可擴展至 1M。
效能分析顯示,在 batch-size-1 條件下解碼受限於讀取權重的記憶體頻寬,瓶頸落在 MoE 計算以及將隱藏層維度 2,560 投影至 157,184 個詞表的 LM Head。基準配置採用 FlashInfer MXFP4 MoE 核心搭配 --enable-fp32-lm-head,單輸出 token 時間(TPOT)為 27.71 毫秒、解碼吞吐量為 36.09 tok/s。
文章提出三項最佳化策略:第一,採用獨立核心函式庫 Humming 替代 FlashInfer MXFP4,Humming 利用 NVRTC 於執行時期針對實際維度與架構動態編譯 CUBIN 並建立快取,專門適應 Ling-3.0-flash 較窄的 768 中間維度,單核心編譯僅需數秒(對比 CUTLASS ninja 的數十分鐘),使 TPOT 降至 25.35 毫秒(吞吐量提升 9.3% 至 39.45 tok/s)。第二,透過 SGLANG_ENABLE_FP8_LM_HEAD=1 對 BF16 儲存的 LM Head 實施動態 FP8 量化,將詞表 GEMM 的權重讀取量減半,使 TPOT 進一步降至 22.76 毫秒,吞吐量達 43.94 tok/s(較基準提升 21.7%)。第三,利用內建的單層 NEXTN 進行 MTP 投機解碼(3 步起草、4 token 驗證視窗),實測驗證成本比約為 2.26;測試指出驗證成本主要來自 MoE 專家啟動數從單 token 的 8 個暴增至 4 token 的最多 32 個,而非注意力 KV 讀取。此外,若同時啟用 FP8 LM Head 量化與 MTP,起草模型必須與目標模型共享完整 LM Head 模組而非僅權重張量,否則會因介面未暴露而引發整合問題導致效能倒退。
讀原始報導