跳到主要內容
2026-11-16 日報
研究與評測

社群提出 think-graft 免訓練推論早退法:僅改單行權重使 Qwen3.5-4B 思考 Token 減少 54%

Reddit r/MachineLearning單一來源
核實資料不足

目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。

本次未取得足夠原文證據

社群開發者在 Reddit 發表開源實驗專案 think-graft,提出一種免額外訓練、無須修改推論程式碼的推理模型提早退出(early exit)機制。針對推理模型常在得出正確答案後仍耗費數千 Token 反覆驗證的問題,該方法先記錄模型在 24 道數學題的隱藏狀態(hidden state),利用線性判別分析(LDA)找出「已得出答案僅在重複檢查」與「仍在解題」的特徵分離向量,再將該向量乘以 14 倍後直接加到輸出層對應 </think> 標記的單一行權重中,使模型在進入重複驗證狀態時提高結束思考的分數。 根據開發者發布的小樣本實測(每組設定僅單次執行),修改後的權重可直接相容原生 llama.cpp。在 8 道未見過的 MATH-500 題目中,Qwen3.5-4B 維持相同準確率,思考 Token 減少 54%;在設定 32k Token 上限的 3 道 AIME 2025 題目中,原版因持續驗證而耗盡 Token,修改版則答對 2 題。在 2-bit 量化、763B 參數的 DeepSeek V4.1 Flash 上,7 道數學題解出 7 題(原版為 6 題),思考 Token 減少 40%;在網頁建置的 coding agent 任務中,思考 Token 則減少 84%。 該成果屬個人社群實驗,尚未經同行評審驗證。開發者亦註明其限制:評測樣本量極小、探針僅由數學題目擬合,且 AIME 測試採用的 32k Token 限制低於 Qwen 官方推薦的 81,920 上限。目前程式碼與 GGUF 權重已在 GitHub 與 Hugging Face 開源。
讀原始報導
本期分類