模型發布
社群釋出 Ternary-Nemotron-30B-A3B 三元量化版:12GB GPU 可跑 368K 上下文,解碼達 172 tok/s
Reddit r/LocalLLaMA單一來源
尚未逐項核實
目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。
LocalLLaMA 社群開發者釋出「Ternary-Nemotron-3.5-Lightning-30B-A3B-GGUF」三元(1.58-bit)量化模型。該模型採 MoE 架構(總參數量 30B、啟用參數約 3B),據開發者測試,可在 12GB GPU 記憶體條件下支援高達 368K 的上下文長度,並測得 Decode 速度 172 tok/s、Prefill 速度超過 7,000 tok/s。
該釋出版本為單一 GGUF 檔案,同時支援原生 llama.cpp(已於 b11555+ 與 b11796 驗證)以及 PrismML 的 Bonsai 分支(已於 b10793 驗證)。發布者指出,這是繼 maple-preview 之後,第二款能在原生 llama.cpp 運行的三元 MoE 模型;目前相關效能數據仍屬社群回報,尚待更多純 CPU 與 10GB 左右硬體環境的實測驗證。
讀原始報導背景
Nemotron 是由 NVIDIA 開發的開源模型家族,涵蓋用於推理、程式設計與代理人應用的大型語言模型。三元大型語言模型(Ternary LLM,亦稱 1.58-bit LLM)則將權重限制在 -1、0、+1 三種數值(理論上每個權重約佔 1.585 位元),能有效降低模型運算量與記憶體需求。