開發者釋出 Rust 從頭撰寫的非 Transformer 模型 PSSA：CPU 推論快 12 倍，同參數困惑度勝出

開發者在 GitHub 釋出名為 PSSA 的小型語言模型，該模型並非 Transformer 架構，而是完全使用 Rust 從頭撰寫，底層不依賴 PyTorch 或 TensorFlow 等任何機器學習框架。開發者表示，放棄現有 autograd 框架是為了實現逐 token 的權重更新與前向傳播時的記憶體寫入，並確保梯度能與純量參考路徑進行精確比對（最大梯度誤差約 3e-8）。 PSSA 的運算成本隨序列長度呈線性增長，而非平方增長。其架構結合了類似 S4 與 Mamba 的選擇性狀態空間遞迴（selective state-space recurrence），以及位於雙曲空間（hyperbolic space）的情節記憶庫（episodic memory bank）。模型在單次由左至右的傳遞中維持固定大小的狀態，並透過查詢當前 token 與狀態，從記憶庫中讀取最多 4 個插槽（slots）的內容，而非重新讀取整個上下文。 該模型具備執行時重寫自身權重的「可塑性」（plasticity）。當輸入狀態具備新穎性時，系統會插入新的記憶插槽，並透過不反應計數器（refractory counter）限制覆寫頻率以保護已穩定的記憶；同時利用閉式脊迴歸（closed-form ridge regression）將快速更新整合回基礎轉移矩陣中，避免長程結構僅儲存於外部記憶。 在效能評測上，PSSA 與標準 Transformer 在相同參數、相同 tokenizer 與相同設定下進行對比。在 1270 萬 token 的 WikiText-103 訓練中，PSSA 的最終交叉熵為 3.98（困惑度 53.7），優於 Transformer 的 4.43（困惑度 83.7）。Transformer 耗盡 1270 萬 token 訓練預算才達到的損失值，PSSA 在約 200 萬 token 時就已超越，且在同等 CPU 上的文字生成速度快約 12 倍。