NVIDIA 開源 Nemotron 3 Ultra 數學推理系統，550B MoE 模型純自然語言獲 IMO 金牌 30 分

據報導，NVIDIA 公布並開源了基於 Nemotron 3 Ultra 的數學推理系統，該系統在 2026 年 IMO（國際數學奧林匹亞）中取得 30/42 分，超越 29 分的金牌線。官方文件顯示，Nemotron 3 Ultra 是一個具備 550B 參數的混合專家（MoE）模型，支援高達 100 萬 token 的上下文長度。 本次開源內容包含兩個數學專家 checkpoint、SFT 與 RL 訓練資料、推理程式碼、訓練配方、比賽提交證明，以及 200 道新的 Nemotron-IMO-Bench。官方文件也註明，部分中間 teacher 和 MOPD checkpoint 尚未開放。 該系統全程僅使用自然語言寫證明，未調用 Lean 等形式化證明器或外部檢索工具。解題過程首輪會為每道題生成 384 份證明並放入搜尋池，接著由 SFT 專家（具備接續修改錯誤證明的能力）與 RL 專家（調整生成分布以提高正確路線權重）進行多輪改寫（refinement）。 系統的驗證器（verifier）設定了極高的接受門檻，需兩個專家模型反覆檢查且全部通過才會接受，以降低錯誤放行率。然而，運行此系統的硬體門檻極高，據報導需 1.5TB 記憶體，以及數千個 GB200 GPU 小時（或 8 張 B200 顯卡運行 1,464 小時）。