跳到主要內容
2026-10-31 日報
模型發布

研究提出 Soft-MTP 改善多詞元預測訓練:一行程式碼消除梯度雜訊,零開銷支援 DeepSeek 與 Meta 架構

Reddit r/LocalLLaMA單一來源
尚未逐項核實

目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。

研究論文提出 Soft-MTP(Soft Multi-Token Prediction),旨在修正現行語言模型在多詞元預測訓練中的梯度干擾缺陷。論文分析指出,標準 MTP 的交叉熵梯度可精確分解為兩項:一項是拉近 MTP head 與模型自身次詞預測(NTP)分布、有助於投機解碼的 KL 自蒸餾項;另一項則是訊噪比低且會干擾學習的殘差項,該殘差干擾更會隨著模型規模擴大而加劇。為此,作者提出「KL 梯度復原技巧」(KL gradient-recovery trick),利用兩分布共用線性輸出 head 的特性,透過 straight-through gradient routing 結合原有的 NTP 與 MTP 交叉熵梯度精確重構 KL 散度梯度。該方法無須產出詞表大小的 logit 矩陣,完全相容於標準融合交叉熵核心(fused cross-entropy kernels)。Soft-MTP 僅需一行程式碼修改即可過濾雜訊殘差,既無新增參數量,亦無可測得的計算額外負擔,並相容 DeepSeek 與 Meta 風格的 MTP。在 167M 至 1.2B 參數量的實測中,Soft-MTP 在各級規模的 NTP 困惑度、零樣本準確率與投機解碼速度均優於標準 MTP;模型達 689M 規模以上時 MTP 困惑度亦同步下降,1.2B 微調後更展現出更強的數學與程式碼推理能力,多數指標達到或超越直接最小化 KL 散度的水準。目前相關程式碼與權重已於 GitHub 與 HuggingFace 公開。
讀原始報導
本期分類