Alex Wang 從聯想記憶推演 Transformer：64 維鍵容量自線性層 64 筆躍升至自注意力破百萬

研究者 Alex Wang 撰文從聯想記憶（associative memory）的視角解析神經網路架構，推導線性層、MLP 到自注意力機制的記憶容量演進。在 64 維鍵向量（$d_k=64$）的設定下，儲存容量可從線性層的約 64 筆、MLP 的約 2,700 筆，大幅躍升至自注意力的 100 萬筆以上。文中分析，基礎線性層透過外積累加鍵值對，單次學習率為 $\eta$ 的梯度下降步（$W \leftarrow W - \eta \bar{y} x^T$）本質上即是寫入一筆鍵為 $x$、值為 $-\eta\bar{y}$ 的記憶。然而，線性外積儲存器的干擾訊號比約為 $\sqrt{M/d_k}$，一旦儲存量 $M$ 達到鍵向量維度 $d_k$，干擾項便會與目標訊號相當並淹沒召回結果，促使架構演進至 MLP 與自注意力機制來抑制干擾。