NVIDIA 攜手 AI4Bharat 開源 Nemotron-pretraining-Indic-v1：涵蓋 22 種語言、2.8 兆 Token 印度語資料集

NVIDIA 與印度理工學院馬德拉斯分校（IIT Madras）旗下的 AI4Bharat 實驗室合作，宣布即將開源印度語預訓練資料集 Nemotron-pretraining-Indic-v1，並公開其端到端 GPU 加速資料生成管線。該資料集依 Gemma-4 Tokenizer 計算約含 2.8 兆 Token，覆蓋印度憲法明定的 22 種官方語言（涵蓋印度約 97% 人口），旨在解決印度語模型訓練資料匱乏的問題。 整個資料集由兩部分構成：包含 2 兆 6,010 億 Token 的原生文字資料（覆蓋全部 22 種語言），以及 2,246 億 Token 的羅馬化（拉丁字母標音）資料（覆蓋印地語、孟加拉語、泰米爾語等 12 種主要語言）。 生成管線採用 NVIDIA 的 NeMo Data Designer 開源框架，以包含網頁、問答、數學與程式碼的 15 個 Nemotron-CC-v2 英文子集為來源。針對 12 種主要語言，團隊以 Gemma-4-31B-it 進行全文翻譯、品質檢驗、針對性修復與拉丁字母轉換，透過提示詞保留數學公式、表格與程式碼，所有資料均記錄來源 ID 以供溯源；其餘 10 種語言則經由 Indic Translate 流程生成。目前 NVIDIA 已將該資料集中的 100 億 Token 用於 Nemotron 3.5 Super VL 模型的接續預訓練，後續也將導入未來 Nemotron 系列模型。