研究與評測
「權重空間程式設計」據報讓 LLM 直接讀寫神經網路權重
Latent Space單一來源
核實資料不足
目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。
本次未取得足夠原文證據

Latent Space 報導,一篇研究論文提出「權重空間程式設計」(Weight Space Programming),主張可讓較聰明的 LLM 直接閱讀並編輯較笨模型的權重,而不必依傳統流程撰寫 PyTorch/JAX 程式、跑運算叢集並觀察損失曲線。作者以類比說明:這等於不看原始碼,而是直接讀取編譯後的二進位檔,並據此判斷其功能。
據文中描述,這種方法已展現三項能力:一是判讀權重的功能;二是在給定失敗追蹤後一次修正錯誤,或經約 50 步改善模型往某個方向前進(作者自言此說法可能有所誇大);三是一次性寫出整組網路權重,據稱勝過部分獨立訓練的模型。作者認為,這是一種機械可解釋性(mechanistic interpretability)的變體,目前可能僅能擴展到簡單遊戲與 RL 策略,尚難應用於更複雜的任務。
背景方面,作者回顧八個月前 Karpathy 提出的 autoresearch,該工作展示模型可在運算叢集上自主進行實驗、訓練模型,被視為引發夏季「遞迴自我改進」(RSI)擔憂的起點。本文作者認為,這項新能力使 RSI 循環出現新的切入點,但目前僅有單一來源報導,文中提及有獨立復現似乎已找到類似結果,惟未提供具體出處與數據,信心等級為未經證實。
讀原始報導背景
「權重空間程式設計」(Weight-Space Programming)指讓 LLM 直接閱讀與編輯另一個模型的權重,而不是透過原始碼。Hugging Face 上的 RikiyaT/Qwen3.5-0.8B-weight-space-programming 即是以 LLM 編輯、未經訓練的 Qwen3.5-0.8B 模型。Karpathy 的 autoresearch 專案則讓 AI 代理在單張 GPU 的 nanochat 訓練上自動進行研究。