研究與評測
社群揭露 memt-1.0 記憶架構:採 Gated DeltaNet-2 與 MoS,128k 脈絡下儲存需求縮減 66 倍
Reddit r/MachineLearning單一來源
尚未逐項核實
目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。
Reddit r/MachineLearning 社群出現貼文,解析尚未經官方證實的 memt-1.0 記憶原生架構細節。該設計旨在解決 AI 代理因歷史紀錄累積導致脈絡長度暴增的瓶頸,捨棄純文字堆疊或外部 RAG 流程,改將記憶直接寫入模型運算層。技術核心結合 Gated DeltaNet-2 提供每輪對話內穩定的 token 級狀態更新機制,並藉由儲存混合(Mixture-of-Storage, MoS)層擴增容量,在多輪代理任務中將程序性經驗內化至模型權重與狀態。
貼文公布的測試數據顯示,在 128k token 的歷史長度下,memt-1.0-nano 相較於傳統全脈絡 KV 快取架構,端到端推論速度加快約 1.86 倍,持久儲存佔用減少 66 倍。針對參數記憶通常會損耗基底模型通用能力的缺陷,貼文稱該方案透過跨 34B token 的持續預訓練與後訓練雙階段流程,能在維持通用推理能力的同時,跑分超越現有的參數記憶基準模型。
讀原始報導背景
Gated DeltaNet 為引入 Delta Rule 改進 Mamba2 的模型架構,已被 ICLR 2025 收錄。該架構在語言建模與常識推理等多項基準測試中超越了 Mamba2 與 DeltaNet,並在訓練吞吐量上展現出優於 Mamba2 和 Samba 的效能表現。