Sliding Window Attention

1 則報導橫跨 1 期2026-09-01 起

一起出現的主題

#Attention Sinks1

2026-09-01Reddit r/LocalLLaMA

新研究指出滑動窗口注意力結合 Attention Sinks 效能達線性注意力 2 至 10 倍，且無需後訓練