跳到主要內容
2026-10-24 日報
模型發布

NVIDIA 開源 Nemotron-3.5-Bolt-E4B:以 Gemma-4-E4B-it 後訓練的低記憶體小模型,可商用

Reddit r/LocalLLaMA單一來源
核實資料不足

目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。

本次未取得足夠原文證據

據 Reddit r/LocalLLaMA 轉貼的 Hugging Face 模型頁面,NVIDIA 釋出小型語言模型 NVIDIA-Nemotron-3.5-Bolt-E4B-4GB,基底為 Google 的 Gemma-4-E4B-it,並由 NVIDIA 進行後訓練。模型頁面稱其延續 Gemma 的對話能力,並在多輪工具呼叫、指令遵循與輸入依據(input grounding)方面有所改進,定位為語音與裝置端助理、互動角色及嵌入式/邊緣介面。模型設計目標為低記憶體與低首字延遲(TTFT),讓代理能快速回應,並為其他應用或並行的模型流程保留資源餘裕。模型頁面另提到:投機解碼可搭配同系列的 DFlash 草稿模型(drafter);全精度 BF16 版本為獨立的 Nemotron-3.5-Bolt-E4B-BF16;官方聲明可用於商業與非商業用途。GGUF 版本已見於 ggml-org 與 unsloth 的 Hugging Face 倉庫,並附有 NVIDIA 研究院的技術報告 PDF 連結。目前此消息僅有單一社群來源,且未附獨立佐證,記憶體用量與延遲等效能數字需以技術報告與實測為準。
讀原始報導

背景

本模型以 Google 的 Gemma-4-E4B-it 為基礎進行後續訓練,Gemma 4 是 Google DeepMind 推出的開源模型系列。news 提到的配套 DFlash drafter 是 z-lab 提出的 speculative decoding 草稿方法,與逐一 token 生成的 EAGLE、Medusa 不同,它透過小型擴散模型平行產生一整段 token,並以目標模型的隱藏狀態為條件。

來源