模型發布
arXiv 論文提出「自我改寫」:語言模型無需訓練與梯度即可改寫自身權重並變強
Hacker News單一來源
核實資料不足
目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。
本次未取得足夠原文證據

一篇發表於 arXiv 的論文(v1 於 2026 年 11 月 16 日提交,v2 於 11 月 18 日修訂)提出「自我改寫」(self-rewriting)概念,主張語言模型可在無梯度、無訓練的情況下,透過自身推理改寫權重並提升表現。作者表示,據其所知這是首次有模型以此方式改寫自身權重。
論文中的實驗以一個開源 27B 模型為對象:模型取得自身權重、答題評分結果,並能執行自身,診斷失誤後改寫對應權重。報告指出,其自我編輯使模型在從未見過的題目上準確率提升 6.6 分。模型會先在練習題上測試編輯,只提交有效的修改,連續八輪的準確率皆持續上升。
論文另稱,模型可修復受損的副本:副本原本幾乎無法解題,模型在未重新訓練、未讀取原始權重的情況下,使其在從未見過的圖像任務上恢復到原始準確率的 80% 以上。此能力亦隨規模出現:同一模型家族中,較小模型無法改進或反而損壞自身,僅最大模型能改進並修復。
作者認為,與測試時運算擴展不同,自我改寫把增益寫入權重,推論時不增加每次回答的成本;與訓練不同,它只需前向傳播。作者將此視為邁向遞迴自我改進的必要一步,但目前僅為單一論文的主張,尚未有獨立來源佐證,結果與可重現性仍待驗證。
讀原始報導背景
梯度下降是一種沿著梯度反方向逐步調整參數、以最小化可微分函數的方法,常用於機器學習與最佳化。神經網路則是由互相連接的節點組成的模型,靈感來自對大腦神經元的簡化,而語言模型的權重正是這類網路中的參數。
社群討論
討論的主流是質疑而非讚賞:多數人認為論文的實際能力被誇大,模型只做了簡單調整(例如縮短推理長度以避免 token 上限),且「不需訓練」的說法站不住腳,因為「只提交有效的編輯」本質上就是最佳化。另有人擔心 LLM 自我改寫權重的安全風險,並指出論文文風與作者背景可信度存疑;也有人提到 Google 的 sleep 框架及其他相關研究,認為這類想法並非首次出現。