研究與評測
TokenGate 提出可學習 token 剪枝，宣稱長上下文 prefill 加速 1.4-11.3 倍且無精度損失
Reddit r/LocalLLaMA單一來源
核實資料不足
目前依單一來源整理，這是來源數量描述，不是對消息真假的判定。
本次未取得足夠原文證據
據 arXiv 論文 2610.26754 與作者於 r/LocalLLaMA 的轉貼，TokenGate 是一個小型、可直接插入既有模型的元件，目標是讓長上下文輸入的 prefill 階段能端到端學習 token 剪枝，以降低運算與記憶體成本。由於 top-K 剪枝運算不可微分，作者提出受 Mixture-of-Experts 啟發的 token-gated attention，利用 token 重要性分數重新加權注意力 logits，使訓練可以端到端進行。論文宣稱在多種任務上，首 token 延遲（TTFT）加快 1.4-11.3 倍，prefill 峰值記憶體降低 1.5-3.4 倍，且無精度損失；相較表現最佳的既有剪枝方法，最多可再快 6.4 倍、峰值記憶體再降 2 倍。方法可同時套用於標準 Transformer（如 Qwen3）與混合注意力模型（如 Qwen3.5），調整方式與標準參數高效微調相近。程式碼已釋出於 GitHub。此消息目前僅見單一社群來源，上述數據皆為論文自述，尚未經獨立驗證。
讀原始報導背景
大型語言模型處理輸入時，每個 token 都會經過每一層運算，因此長文本的處理成本很高。TokenGate 是一個小型、可直接加入既有模型的元件，讓模型能端到端學習要剪除哪些 token，以加快預填（prefill）並降低記憶體用量。相較之下，LazyLLM 是一種免訓練的動態 token 剪枝技術，而 TokenGate 則需要類似參數高效微調的輕量適應步驟。