跳到主要內容
2026-11-12 日報
模型發布

獨立研究者發布 ttf 三元訓練優化器:單張 24GB 3090 可訓練 27B 模型,權重約 1.6 bits

Reddit r/LocalLLaMA單一來源
核實資料不足

目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。

本次未取得足夠原文證據

獨立 AI 研究者於 Reddit r/LocalLLaMA 發文,宣布一款新優化器 ttf,主要針對三元網路(ternary network)訓練,目標是取代 AdamW 在每個權重上約 16 bytes 的 VRAM 需求。作者表示,BitNet(Ma et al.)顯示三元網路在大規模下可匹敵全精度品質,但 BitNet 訓練時仍保留全精度權重,因此記憶體用量未減;ttf 則宣稱把每個權重的訓練記憶體降到約 1 byte 甚至更少。 作者稱已在單張 24GB 3090 上訓練 27B 模型,並在 16GB GPU 上訓練 23B 模型;訓練完成的模型約 1.6 bits/weight,27B 約 6GB,據稱比 16 位元小 10 倍、比 Q8 小 5 倍。不過作者也說明,要讓 27B 模型達到好的效果,可能需要數千億 token 的訓練量。 作者另外嘗試轉換既有模型。其發布的 Qwen 3.8 27B 轉換版含約 2GB adapter,檔案約 8GB,並另稱正在製作無 adapter 版本。作者自述在 GSM8K 得 0.895(與全精度相同),HumanEval 為 0.84(全精度為 0.93),可在 12GB GPU 上以約 2–3 tok/s 執行(於作者自己的 12GB 筆電 4080 上測得,尚待最佳化)。 作者也將 Qwen Flash Next 量化並訓練至約 40.4GB(含 8GB 的 n-gram 表)。作者稱 GSM8K 成績相當、HumanEval 略低,但會遺忘事實;未能測試 TerminalBench2.1 等較大型評測。作者承認這些模型仍會陷入循環、事實記憶不佳,但強調可用消費級 GPU 繼續訓練以修正問題或注入知識。 程式碼以非商業用途開放,包含訓練(ttf-ternary)、轉換(ttf-conversion)與執行(ttf-home)三個 repo,論文亦已公開。以上數據皆來自作者自述,目前僅見單一來源,尚未經獨立驗證。
讀原始報導

背景

BitNet b1.58 是一種 1-bit LLM 變體,模型中的每個權重都限制為三元值 {-1, 0, 1}。根據論文摘要,在相同模型大小與訓練 token 數下,它的效能可與全精度(FP16 或 BF16)的 Transformer 模型相當。

來源

相關主題