跳到主要內容
2026-11-12 日報
研究與評測

Sebastian Raschka 觀察:2026 下半年新開源 LLM 架構中,約半數已完全不使用全域注意力

Reddit r/LocalLLaMA單一來源
核實資料不足

目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。

本次未取得足夠原文證據

根據 Reddit r/LocalLLaMA 上 Sebastian Raschka 的分享(來源標示為未經證實,單一來源),他以自建的架構圖庫統計 LLM 注意力設計的演變:2025 年仍有大量全注意力(full attention)模型,之後轉向「部分全注意力」的混合架構;2026 年上半年此趨勢延續;2026 年下半年,「部分全注意力」混合架構與「完全不含全域注意力」的模型約各占一半。 文中將分類定義為:全注意力指每一層都使用 Global MHA、GQA、dense MLA 或 CCA;部分全注意力指混用全域注意力與滑動視窗/分塊注意力、Gated DeltaNet、KDA、Mamba-2、Lightning Attention、卷積或稀疏注意力;無全注意力指不含任何稠密全域層。 作者認為此趨勢的主要意義是降低長上下文的使用成本,較適合長文件、長對話、大型程式碼庫,以及需要大量工具呼叫的 agent 應用。效率提升主要來自兩方面:其一,稀疏注意力等機制只從上下文中挑選部分 token 或區塊進行昂貴的注意力運算,計算量減少,但仍可檢索遠距位置的資訊;其二,部分架構(如 Gated DeltaNet)的循環層維持固定大小的狀態,節省記憶體,但壓縮歷史會使精確檢索變困難,因此通常與稀疏或全注意力混合使用。 此為作者的量化觀察,尚未有獨立來源佐證,其分類與統計範圍需以原作者提供的圖表與資料為準。
讀原始報導

背景

傳統 softmax 注意力會保留不斷增長的 KV 快取(KV cache),文本越長,記憶體與計算成本就越高。線性注意力(linear attention)改用固定大小的遞迴狀態取代這份快取,使序列混合的計算量降為線性、解碼時的記憶體維持固定。Gated DeltaNet-2 的技術報告即屬於這類線性注意力設計,而 Lightning Attention-2 則是首個能實現線性注意力理論運算優勢的實作。

來源

本期分類