FlashMask-3 論文提出 Hopper 架構遮罩感知分散式注意力：單卡 H100 較 FlashMask 最多快 141%

據 arXiv 論文與 r/LocalLLaMA 轉貼，FlashMask-3 針對長上下文訓練中結構化注意力遮罩（文件、prefix-LM、共享問題、滑動視窗、區塊稀疏）與多節點上下文平行的瓶頸提出優化。其基礎 FlashMask 以欄向稀疏遮罩把空間從 O(n²) 壓到 O(n)，但僅支援 Ampere GPU，未利用 FlashAttention-3 在 Hopper 上的 TMA/WGMMA warp 特化管線，也不支援分散式。FlashMask-3 在 FlashAttention-3 管線上加入遮罩感知的 Hopper 核心（三角色 warp 特化），並提供分散式擴充：在任意多區塊上下文平行切分下，遮罩定位可在邊界向量上以 clip–shift–max 完成且零通訊；另有稀疏感知負載平衡器 HCC-IPO，以及依遮罩裁剪通訊、前向 all-gather 採拓撲感知分層路由的計算–通訊重疊機制。論文報告單張 H100 上 12 種遮罩、4K–128K 上下文，實際 TFLOPs 相較 FlashMask、FlexAttention、MagiAttention 分別提升 45–141%、34–71%、2–44%；上下文平行度 4–32、每卡 8K 序列時，計算–通訊重疊效率為 31–75%，吞吐量相較 Megatron-Core CP ring、Megatron-Core CP all-gather 與 MagiAttention 分別為 1.80×–3.71×、1.71×–2.92×、1.09×–1.46×。端到端訓練 118B-A14B MoE（128K，128 張 H100）時，吞吐量較 Dual Chunk all-gather 基線提升 7.3–11.0%，注意力前向加反向快 24.5–44.9%。本則目前僅有單一來源轉貼，尚未經獨立驗證，數據以論文為準，實測條件以原文為準。程式碼與專案頁見 GitHub（PaddlePaddle/FlashMask）與 project 頁面。