跳到主要內容
2026-10-13 日報
模型發布

Looped Diffusion Transformer 據稱以 260M 模型勝過大 6.5 倍模型,推論計算量少 4.9 倍

Reddit r/MachineLearning單一來源
核實資料不足

目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。

本次未取得足夠原文證據

一篇發布於 arXiv、標示日期為 30 Sep 的未經驗證論文提出 Looped Diffusion Transformer:不再單純放大文字轉影像 DiT,而是在每個去噪步驟中重複執行同一組 Transformer 區塊。作者稱,260M 參數的 looped 模型在多項基準勝過大 6.5 倍的模型,推論計算量則少 4.9 倍;在固定推論預算下,增加 loop depth 的收益高於增加去噪步驟。論文指出,單純重複區塊並不穩定有效,因此加入每次迴圈都執行的深度監督,以及自調節注意力機制。該 B/16 版本的程式碼與權重採 MIT 授權,權重位於 Hugging Face 的 sensenova 帳號;README 稱模型以深度 4 訓練,但取樣時可改用其他深度而不必重新訓練。Reddit 發文者在 M5 Pro 上以 PyTorch MPS、fp32、100 個 Euler steps、CFG 6.0 測試,對每個提示詞重複使用同一個 seed,比較 loop depth 1 至 4;在其測試中,深度 1 每張圖約需 23 至 24 秒,深度 4 約需 43 至 47 秒。發文者展示的五個提示詞中,大部分變化出現在深度 3 前,深度 3 與 4 的結果則相當接近。上述論文主張與實測均來自 Reddit r/MachineLearning 單一來源,目前沒有其他佐證來源,尚不足以視為已驗證結果。
讀原始報導

背景

文字轉圖像模型通常透過增加模型規模或去噪步數來提升運算量;Looped-DiT則在每個去噪步驟中重複執行共享的 Transformer 區塊,在維持參數量不變的情況下增加計算深度。為了讓重複迴圈的特徵更新更穩定,該方法加入跨迴圈的深度監督與自調制注意力機制。

來源