記憶張量開源 MemT 1.0 記憶原生大模型，記憶內化於架構並可跨 11 項基準領先外掛方案

記憶張量正式發布並開源 MemT 1.0 記憶原生大模型，據報導其記憶不再依附外掛檢索模組，而是內化於底層架構，由模型透過訓練自行學會讀寫、更新與調用記憶。架構上分為主干網路與動態記憶狀態兩部分：記憶狀態為獨立的固定體積矩陣，不同用戶或任務彼此隔離，每輪對話結束後以 token 級別機制更新，無需重新訓練整個大模型，保留或覆寫由訓練學出的門控機制決定。為在固定體積內容納更多細節，團隊引入 Mixture-of-Storage（MoS）架構，由多位記憶專家分工管理存儲的讀寫。訓練分兩階段，共使用 340 億 token：先以 200 億 token 進行繼續預訓練，再以 140 億 token 後訓練，並由教師模型為記憶提取打分。在 11 項系統記憶基準（歷史跨度從 16K 至百萬 token）中，MemT-1.0-Flash 與 Nano 均分分別為 50.6 與 47.0，領先同組最強參數化記憶基線 12.5 與 8.9 分；消融實驗顯示拿掉後訓練，Nano 均分由 47.0 降至 36.3，MoS 記憶專家由 2 個增至 4 個則最多提升 2.7 分。在約 5 百多輪、約 6.6 萬 token 的對話測試中，模型在脫離原文的情況下正確回報改期後的時間，並分辨周日定論與周一未採納方案；在 SWE-bench Verified（500 項）中，Nano 提前寫入經驗後平均成功率由 66.07% 升至 69.33%，實戰中依執行回饋動態寫入經驗則達 69.73%，略高於文字經驗對照組的 69.13%。效率方面，據技術報告，在雙 GPU、單併發、batch size 為 1 的條件下，處理 64K token 歷史時 Nano 相對完整上下文方案約快 1.20 倍，128K 與 256K 時分別約快 1.86 與 3.99 倍；128K 歷史下，持久狀態儲存約為完整 KV cache 的六十六分之一（不計共享模型權重）。以上數據皆出自團隊技術報告，目前僅見單一來源報導，尚未有獨立第三方佐證。