研究與評測
NVIDIA 發布稀疏注意力硬體協同設計指南:揭示索引器占 DeepSeek V3.2 預填 47% 耗時,提供 FP8 核心最佳化參數
NVIDIA Developer一手來源
尚未逐項核實
來源為發布方或研究資料;不代表所有主張已獲獨立核實。

NVIDIA 發布長上下文推論的稀疏注意力(Sparse Attention)硬體協同設計指南,針對 NVIDIA GPU 評估模型層級稀疏架構的效能表現,而非 BLASST、MInference 或 Quest 等訓練後插入的方法。當上下文長度達到 128K tokens 時,密集注意力會占據 Transformer 層大部分的預填(Prefill)時間。稀疏注意力透過將每個查詢限制在僅存取數千個最相關鍵值來降低負載,但流程中負責為所有鍵評分的索引器(Indexer)與 Top-k 選擇階段成為新瓶頸,在 DeepSeek V3.2 的預填層中合計占據 47% 耗時。
NVIDIA 透過生產環境 FP8 核心量測各項設計參數(查詢頭數 QH、鍵頭數 KH、頭維度 Hsz、壓縮率 CR 及推測解碼深度 D)。分析顯示,Indexer 在 Prefill 階段為批次矩陣乘法(BMM)結合融合後處理的運算密集型任務;在 Decode 階段則轉為記憶體頻寬受限,每步解碼需自 HBM 讀取整個鍵快取。運算強度分析指出, Prefill 與 Decode 的運算強度皆正比於群組大小 G(QH / KH),跨頭歸約至單一 logit 能帶來 G 倍的運算密度;而序列長度(ISL、KVSL)與壓縮率(CR)只會等比例縮放總工作量,不影響運算與資料讀寫的比例。
文中同時梳理現行模型的 Indexer 配置,包含 DeepSeek Sparse Attention (DSA)、GLM 5.2/5.3 Flash、Qwen QSA、NSA 及 MoBA 等,多數設計採用 KH=1、Hsz=128,並配置 32 至 64 個查詢頭進行 ReLU 與加權總和後處理。
讀原始報導