機器學習社群熱議 URM 與 UT 架構：深度遞迴運算使小型模型效能超越標準 Transformer

據 Reddit 機器學習社群討論，近期關於 Universal Reasoning Model (URM) 與 Universal Transformer (UT) 的研究引發關注，探討前沿模型是否已整合此類架構。討論指出，UT 擴展了標準 Transformer，透過在深度上引入遞迴運算，重複應用單一轉換區塊來優化 token 表示，而非堆疊多個不同層，並在每一步加入 2D 正弦嵌入以編碼位置與深度。URM 架構則進一步結合固定迴圈、ACT 迴圈與 ConvSwiGLU 模組，並提出透過迴圈的截斷反向傳播（TBPTL）技術。據稱，基於 UT 的小型模型即使未經網際網路規模的預訓練，從頭訓練的效能仍大幅超越多數標準基於 Transformer 的大型語言模型（LLMs）。