22 种语言、约 2.8 万亿 token 的开放语料
Nemotron-pretraining-Indic-v1 是一套面向印度语言的预训练语料，规模约 2.8 万亿 token，覆盖 22 种印度语言。这 22 种语言即印度宪法列出的语言，按 2011 年人口普查，是 97% 印度人的第一语言，涉及近 12 亿人。语料由 NVIDIA 与 IIT Madras 及其 AI4Bharat 实验室联合开发，与语料同时开放的还有一套 GPU 加速的数据生成管线。
语料分两部分：原生文字数据 2,601.0 billion token，罗马化数据 224.6 billion token，统计口径为 Gemma-4 分词器。原生文字指书写系统，内容仍是英文翻译；罗马化指用拉丁字母书写的印度语言文本，而不是英文译文。原生文字覆盖全部 22 种语言，罗马化覆盖其中 12 种：孟加拉语、古吉拉特语、印地语、卡纳达语、马拉雅拉姆语、马拉地语、尼泊尔语、奥里亚语、旁遮普语、泰米尔语、泰卢固语、乌尔都语。另外 10 种只有原生文字数据：阿萨姆语、博多语、多格拉语、克什米尔语、孔卡尼语、迈蒂利语、曼尼普尔语、梵语、桑塔利语、信德语。合计 34 种语言与文字组合。
需要分清的是：这些 token 计数描述的是保留的语料库存，包含被接受的改写，而不是某次训练运行的 token 预算；计数也依赖分词器，因此语料规模与训练 token 数应分开理解。文档记录包含同一来源的翻译与文字变体，不等于唯一英文文档的数量。
原理：从英文源文档到印度语言训练数据
管线从 15 个 Nemotron-CC-v2 子集的文档出发，覆盖网页文本、问答材料、数学、代码等专门内容，用 NeMo Data Designer 执行翻译、质量评估和定向修复。全程保留源标识符，使输出可以回溯到原始文档。
十二种语言的工作流分四步：整篇文档翻译（保留跨段落、表格、公式的上下文），质量评估，低分修复，再把一部分被接受的译文转成拉丁字母。翻译与评估都用 Gemma-4-31B-it，选型基于整篇文档上的对比，检查译文质量与技术内容保留情况。提示词区分需要翻译的正文与需要保留的内容，包括代码、公式、链接和格式。评估用一套受 MQM 启发的评分标准，覆盖含义、流畅度、术语、风格、格式，只保留 75 分及以上的输出（这是评分而非准确率）；低分输出依据评估反馈修复后按同一阈值重评，这一过程回收了 438.4 billion token，已计入总量。抽样人工复核和故意注入错误的测试，用于发现漏译与残留英文。
罗马化不是从英文直接生成，而是在被接受的原生文字译文基础上转写，再对照原生文字输入检查。在初期人工对比中，这种两步法比直接从英文生成罗马化文本产生的幻觉添加更少、残留英文更少。
其余十种语言改用 Indic Translate，这是一个面向英文与 22 种印度语言的文档级翻译模型，来自 IIT Madras 孵化的非营利 AI 教育中心 Bodhan AI，再由 Gemma-4-31B-it 对照英文原文评估。八种语言保持整文档方式；较长的桑塔利语文档采用重叠窗口翻译后重建；曼尼普尔语先译成孟加拉文字再转成其本土的 Meitei Mayek 文字。这些工作流同样保留 75 分及以上输出，只产出原生文字数据，不做基于反馈的重写。
与上一代的差异：继续预训练带来了什么
Nemotron 3.5 Super VL 在继续预训练阶段加入了 100 亿印度语言 token，取自这套语料的十二种语言子集与自然印度语言文本。该阶段配置预算为 1000 亿训练 token，其中 10%（即 100 亿）分配给合成与自然印度语言文本的混合，其余 90% 维持先前训练混合的相对比例。
以该阶段前后的检查点相比，MILU、Indic MMLU-Pro、Indic ARC-Challenge、Indic ARC-Easy 和 Indic GSM8K 五个印度语言知识与推理基准的分数全部上升，涨幅为 4.98 到 9.82 个百分点。这一比较覆盖合成与自然印度语言数据合在一起的整个训练阶段，并未单独分离合成语料的贡献；各基准的语言覆盖不同；比较对象是阶段级检查点，而不是最终模型版本。GSM8K 排除了奥里亚语，因为评测超出服务上下文上限。
与 Nemotron 3 Super 相比，Nemotron 3.5 Super VL 在展示的六个任务基准中有五个更高，跨知识、推理、数学、代码与翻译，IFEval 1.5 的指令遵循下降 2.04 个百分点；在 IndiVibe 的有用性、流畅性、语言与文字忠实度、适度详细度四个维度上均有提升。这些结果反映的是包含印度语言继续预训练与后训练的完整训练管线；IndiVibe 部分为初步条件偏好分数，不是直接对战胜率；WMT24++ 使用 chrF 点数而非百分点。
适用场景与上手方式
这套资源适合需要为印度语言模型准备预训练数据、扩充数学或代码等特定领域的印度语言语料，或需要一套可复用翻译与质量检查流程的团队。语料可与 Nemotron 后训练数据搭配构建更完整的配方；面向印度的合成数据，可用 Nemotron-Personas-India（英文与印地语的合成人物，基于印度的真实分布）作为 NeMo Data Designer 的种子。
上手步骤可以从以下几点开始：
- 从模型需要的语言与文字出发，先看样本，阅读数据集卡与许可。配置使用语言、文字、地区标签，例如 hi-Deva-IN 表示天城文印地语，hi-Latn-IN 表示罗马化印地语。
- 用 Hugging Face Datasets 的 getdatasetsplitnames 查看可用切分，用 loaddataset 配合 streaming 流式查看样本，无需下载整个语料；发布可用后固定数据集 revision，以便复现实验。
- 首次训练研究建议在固定 token 预算下比较不同混合比例，记录自然与合成、原生与罗马化的占比，同时跟踪各语言结果、英文能力保留情况以及语言与文字质量。构造留出切分时，要注意同一来源在不同语言与文字下派生的记录。
- 要改配方，可用 NeMo Data Designer 的开源 Nemotron Bharat 翻译插件，其中提供翻译与评估提示、可选的反馈重写、文档窗口化和文字重映射支持。按其配置参考选择模型与语言、针对自己的领域修改提示、设置重写参数。
- 建议从自己源文档的小样本开始，检查译文质量以及代码、数学、格式的保留情况，再与母语审校者一起细化提示和检查，之后才扩大规模。生成与语料接受应视为两个独立步骤：插件返回候选与分数，由你自己的过滤策略决定哪些记录进入训练语料。
局限与边界
翻译扩大了源材料的可及范围，但不能替代原本用印度语言书写的文本，也不保证覆盖本地知识与文化。建议把该语料与来源合适的自然印度语言文本组合，并针对目标用途评估混合结果。质量评估以自动为主，辅以抽样人工复核，人工覆盖在各语言之间并不一致。在十二种语言的工作流中，翻译模型同时充当评判者；保留下来的文本仍可能含错；十种语言的工作流还需要更广泛的母语者验证。源标识符检查去除的是处理层面的重复，不是对相似内容的语义去重。
另外，AI4Bharat 正在 NVIDIA 支持下构建 Indic-LLM-Eval-Suite，这是一套开放且持续演进的印度语言模型能力基准集合，可用于评估任务表现与语言质量。配套的印度语言报告考察了十二种语言组的来源混合、合成数据池规模与文字覆盖，使用的是首轮通过的数据；对包含回收改写与另外十种语言的完整语料进行评估，仍是后续受控研究的下一步。