模型發布
Nvidia 開源 Nemotron-Labs-Sigma 8B/3B 連續空間擴散語言模型,以並行區塊解碼取代逐 token 生成
Reddit r/LocalLLaMA單一來源
核實資料不足
目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。
本次未取得足夠原文證據
據 Reddit r/LocalLLaMA 轉載的模型卡內容,Nvidia 釋出 Nemotron-Labs-Sigma 系列,包含 8B 與 3B 兩種參數規模,各有 Base 與 instruction(SFT 指令微調)版本,共四個模型頁面。此消息目前僅有單一來源,尚未經獨立證實。
與主流自回歸模型逐 token 生成不同,Sigma 在 16 維的連續 token 嵌入空間中,對高斯雜訊進行去噪,去噪網路與嵌入向量透過概似最佳化共同學習。文字以並行區塊(預設每區塊 64 token)解碼,每個區塊可設定去噪步數(DDPM 或 DDIM 取樣器),並搭配自我條件化(self-conditioning),已生成的 token 則沿用標準 KV cache。模型卡表示,減少步數會犧牲少量品質換取明顯加速,而連續表示也使其適合少步數蒸餾與軌跡操控。
架構方面,8B 版採用 Ministral 風格的純解碼器 Transformer,包含 grouped-query attention、SwiGLU 與 rotary position embeddings,生成頭為連續擴散模組。最大上下文為 8,192 token(提示加生成)。目前僅支援英文。
模型卡宣稱其推理準確度可與目前最先進的離散遮罩擴散語言模型相比;推論可透過 transformers 的 trust_remote_code 載入,無需自訂核心或 flash-attention。模型卡載明可用於商業與非商業用途。上述效能與授權說法均來自模型卡自述,尚未有獨立評測佐證。
讀原始報導背景
DDPM 與 DDIM 是擴散模型(diffusion model)常見的兩種採樣方法,其理論是把生成過程拆解成較容易的採樣問題。搜尋結果指出,原始 DDPM 生成圖像時使用 1000 個去噪步驟,而 DDIM 的去噪步數可以自行設定、數量較少。本則新聞的模型同樣可調整每個區塊的去噪步數,步數越少速度越快,但品質會略有下降。