模型發布
Deletion Tuning 僅刪除不到 0.05% 權重即可媲美全參數微調,並大幅減少遺忘
Reddit r/LocalLLaMA單一來源
核實資料不足
目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。
本次未取得足夠原文證據
據 Reddit r/LocalLLaMA 一則論文討論帖(來源未經獨立驗證),研究團隊提出 Deletion Tuning,在大型語言模型後訓練中僅將預訓練權重中不到 0.05% 歸零、不做其他修改,即可在規模化條件下匹配全參數微調(FFT)的表現。貼文稱此方法涵蓋三種後訓練情境:可驗證獎勵的強化學習(RLVR)、監督式微調(SFT)與同策略蒸餾(on-policy distillation)。
其技術做法是在 Transformer 區塊的閘控投影(gate projection)上學習一個二元遮罩。貼文主張,遮罩檔案比對應的 FFT 檢查點小數百至數千倍,並且在持續學習最受關注的遺忘問題上表現更好:在強化學習下,其先前任務的準確率接近基準模型,而 FFT、LoRA 與隨機稀疏微調的準確率最多下降 5.4 個百分點。
作者另以穩定秩(stable rank)、頻譜漂移(spectrum drift)與主權重重疊(principal-weight overlap)分析強化學習下權重變化的幾何特性,並稱在三項指標上,Deletion Tuning 比 LoRA 與隨機稀疏微調更接近 FFT。
相關程式碼、遮罩權重與部落格已在貼文中附上,並附有一份 NeurIPS 2026 海報連結。目前僅有單一來源,上述數據皆為作者主張,尚待社群與獨立研究者重現驗證。
讀原始報導背景
LoRA(低秩適應)是一種參數高效微調技術,做法是凍結預訓練模型的權重,再在模型各層注入可訓練的低秩分解矩陣。它由微軟研究人員於 2021 年提出,本則新聞將其與全參數微調(FFT)等方法一同比較。