跳到主要內容
2026-11-05 日報
研究與評測

上海交大嚴駿馳團隊提出 JTok 與 xHC 兩項 Transformer 擴展方法:JTok 省訓練算力約 35%,xHC 以 16 路殘差流提升容量

AI 科技評論單一來源
核實資料不足

目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。

本次未取得足夠原文證據

上海交通大學人工智能學院教授嚴駿馳在 CNCC 2026 報告中,介紹團隊在現有 Transformer 架構上探索的兩項擴展方法:JTok 與 xHC(據 AI 科技評論報導,單一來源,尚未有其他來源佐證)。 JTok 為每個 token 配置可學習的向量參數表,依 token 編號查表取出向量,經歸一化與逐維縮放產生調制信號,以逐元素乘法門控前饋網路的殘差增量後加回主干。其新增參數不需進行大規模矩陣乘法,旁路可與主幹並行計算。團隊另提出 JTok-M,在查表之外加入路由,動態選擇部分分支參與計算。在兩個 MoE 底座上,JTok-M 的損失優於 JTok,且差距延續至訓練後期。在 IsoFLOPs 規模定律分析中,JTok-M 的算力最優前沿整體下移,同一算力預算下損失約降低 2.2%;達到相同損失時,所需訓練算力約為底座的 65%,即節省約 35%。報導亦指出,這些規模定律目前主要是經驗公式。代價方面,團隊工程實現下推理延遲增加約 7%,新增參數表也帶來儲存與頻寬壓力。 xHC(Expanded Hyper-Connections)則擴展殘差流寬度。團隊先指出,mHC 將殘差流從兩路增至四路時收益明顯,增至八路收益變小,十六路、三十二路則開銷高而投入產出比不佳,原因包括通路更新相關性高造成的信息冗餘,以及相關映射生成成本隨路數呈立方級增長。xHC 的設計包括:沿 token 序列以多尺度因果卷積做時序特徵增強;採「稠密讀取、稀疏寫回」,預設將殘差流擴至十六路,每層讀取全部十六路,但僅激活四路(其中兩路固定、兩路由路由器選擇)參與殘差混合與寫回。報導稱,十六路 xHC 的損失仍能有效下降,且此優勢能在較長訓練中保持。下游評測方面,18B MoE 模型平均分由 mHC 的 44.8 提升至 48.8,28B 模型由 50.5 提升至 53.6(以上為報告所示數據)。規模定律實驗中,達相同損失時,xHC 相對標準 Transformer 節省約 33% 訓練算力,相對 mHC 節省約 16%。在工程面,十六路 xHC 的訪存量仍高於四路 mHC,完成算子融合等優化後,相較 mHC 的吞吐額外開銷約 1.3%。 嚴駿馳同時指出,這兩項方法作用於不同維度,團隊認為二者結合具有一定正交性,但尚待驗證。
讀原始報導

背景

Transformer 架構主要由多頭注意力(Multi-head attention)、前饋神經網路(feed-forward network)與殘差流(residual stream)及層正規化等部分組成。多頭注意力讓模型同時追蹤不同的關聯,前饋網路則是模型儲存知識的主要位置,而殘差流與層正規化是讓深層堆疊得以順利訓練的關鍵。

來源