跳到主要內容
2026-10-18 日報
模型發布

NVIDIA 在 Hugging Face 釋出 4B 循環潛在遞迴模型 Dory1.0,支援 256K 上下文且可商用

Reddit r/LocalLLaMA單一來源
核實資料不足

目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。

本次未取得足夠原文證據

據 Reddit r/LocalLLaMA 轉貼的 Hugging Face 模型卡顯示,NVIDIA 釋出 NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16,參數量 4B,權重精度為 BF16。模型採用循環(latent-recurrent)的 normalized-GPT 架構,交錯使用滑動視窗注意力(SWA)與全注意力層,並反覆套用一組共享區塊,讓每個 token 可花費更多運算量。最長支援 256K token 的上下文。模型卡列出支援語言僅為英文,定位為小體積下的通用推理,授權為 OpenMDW License Agreement 1.1,並標明可商用與非商用使用。模型卡列出的發布日期為 2026 年 10 月 16 日。目前僅見單一社群來源,尚無獨立媒體或官方公告佐證,也未見第三方評測數據。
讀原始報導

背景

循環式(looped)Transformer 會重複套用同一組共享層,以增加每個 token 的運算量。arXiv 的研究指出,把一個 k 層模型循環 L 次,在加法、多跳歸納與數學等合成推理任務上,表現接近 kL 層的非循環模型。滑動視窗注意力(SWA)則把注意力限制在固定長度的視窗內,用來處理原本計算量隨序列長度平方成長的問題。

來源