跳到主要內容
2026-11-07 日報
研究與評測

Google Research 提出 Muir 線性注意力架構:固定 25MB 狀態串流 1,000 萬 Token,克服長文本狀態衰減瓶頸

Reddit r/MachineLearning單一來源
尚未逐項核實

目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。

據社群公開的論文預印本資料,Google Research 提出名為 Muir 的線性注意力架構。傳統 1.3B 參數的 Transformer 模型在處理 1,000 萬 Token 時,KV cache 需消耗 2.1 TB 記憶體(即使採 2.5-bit 量化也需 0.32 TB);通道門控增量模型(如 GDN-2)雖能將歷史上下文壓縮至固定 25 MB 狀態,但在 1,000 億 Token 訓練中存在三大瓶頸,Muir 針對這些問題提出了改良方案: 首先,針對慢衰減通道累積能量達快通道 100 倍並覆蓋早期事實的問題,Muir 採用「匹配濾波器讀取」(Matched-filter readout),透過反向分數冪律與逐 Token 查詢調製平衡各行能量,使寫入擦除放寬 17%,回溯範圍延長 60%。其次,鍵正規化使權重集中在約 5% 狀態行,造成寫入敏感度比擦除高 13 倍;Muir 將 5 個門控融合為單一 rank-512 投影,縮減門控參數 4.5 倍,在相同參數預算下將 FFN 寬度拓展 30.4%。最後,為解決大塊平行運算時無主元衰減除法導致 25% 注意力頭出現 fp32 下溢與 NaN 的問題,該架構改用邊界錨定的乘法衰減,並藉由遞迴塊諾伊曼(block-Neumann)求解器將 98% 區塊 FLOPs 導向矩陣單元,使向量 FLOPs 減少 24 倍。 實測數據顯示,Muir 在困惑度與零樣本推理表現均優於 GDN-2 與 Transformer,Token 學習效率為 GDN-2 的 1.2 倍,且在 32K 長度下的訓練速度比 Splash Attention 快 2.7 倍。在長文本召回測試中,Muir 將 RULER 5 跳變數追蹤根節點保留率由 28.4% 提升至 48.0%,8K 早期深度召回率從 1% 提高至 31%,抽取式問答平均提高 2.5 分。此外,在動態讀取下,Muir 可在 25 MB 狀態內串流 1,000 萬 Token 且無困惑度漂移;靜態讀取模式下處理 100 萬 Token 的 Passkey 準確率達到零樣本 90.0%、冷卻後 99.4%,相較之下 GDN-2 在超過 4K 至 8K 即告崩潰,Transformer 則在超過 64K 後便面臨記憶體不足(OOM)。該研究目前僅在社群與預印本公開,尚未經同行評審驗證。
讀原始報導
本期分類