跳到主要內容
2026-11-14 日報
研究與評測

Thinking Machines 於 GB300 實現端到端 4-bit 訓練:Inkling 2 Small 專家層前向採 NVFP4,RL 加速 20%

Thinking Machines單一來源
尚未逐項核實

目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。

Thinking Machines 在 NVIDIA Grace Blackwell Ultra(GB300)平台上訓練 Inkling 2 Small,指出該模型是已知以原生 4-bit 前向傳播進行端到端訓練的最大模型。硬體效能方面,GB300 針對 NVFP4 進行最佳化,NVFP4 每數值佔用 4.5 位元、算力達 15 PFLOPS,相較 BF16(16 位元、2.5 PFLOPS)儲存容量縮減 3.6 倍且運算速度提升最高 6 倍;MXFP8 則為 8.25 位元與 5 PFLOPS。 由於初期實驗顯示完全採用 NVFP4 訓練會大幅削弱計算效率(CE)並傷害模型精度,團隊將 NVFP4 鎖定於 MoE(Mixture of Experts)專家層的前向傳播,並搭配專用核心執行;反向傳播則維持 MXFP8,透過重新量化與隨機捨入(stochastic rounding)抑制梯度偏差,同時對 GPU 通訊實施量化以緩解通訊瓶頸。這套數值配置貫穿預訓練至強化學習(RL)採樣,模型產出時無需額外校準。在最大規模任務中,該方案相較全 MXFP8 訓練,預訓練時間加快 8%,RL 階段加速達 20%。
讀原始報導

背景

NVIDIA 第五代 Blackwell 架構的 Tensor Cores 支援了包含 NVFP4 與 MXFP4 在內的多種 4 位元超低精度浮點格式。其中 NVFP4 採用區塊浮點數(Block Floating Point)機制,透過讓一組有效數位共用單一指數,在硬體中有效降低儲存空間與記憶體占用。

來源

本期分類