覆盖22种语言的原始文字数据、12种语言的罗马化数据，以及一套可复用的GPU加速管道，用于翻译、质量评估与修复。
作者：AI4Bharat . 穆罕默德·萨菲·乌尔·拉赫曼·汗，米特什·卡普拉，阿努普·昆丘库坦。尼维达尼克特·阿加瓦尔，拉维拉杰·乔希，阿努沙·卡马特，马库斯·克利格尔，叶夫·梅耶尔，斯里哈沙·尼弗蒂，基伦·普拉维恩，乌特卡什·瓦迪亚。
NVIDIA近日宣布推出 Nemotron-pre-training-Indic-v1 数据集，包含约 2.8 万亿代币，覆盖印度宪法规定的22种语言（基于2011年人口普查）。该数据集由 NVIDIA 与印度理工学院马德拉斯分校及其 AI4Bharat 实验室联合开发。此次开源发布不仅提供了大规模预训练数据，还公开了包括提示词工程、LLM 工作流程及质量检查在内的完整生成管线，允许开发者根据自身源材料调整并生成定制化数据。
AI4Bharat 是专注于印度语言开源数据集和模型研究的实验室。其此前推出的 Sangraha 等资源为印度语言开放模型研究奠定了基础。本次发布的 Nemotron-pre-training-Indic-v1 标志着开放合成印第安语训练数据的实质性扩展，将涵盖数学、编程和问答内容的大量精选英语材料转化为印度语言，为团队提供更丰富的训练素材。每条记录均可追溯至精心策划的源文件，且每个输出均经过输入一致性检查。
AI4Bharat 负责人、入选 2025 年 TIME100 人工智能榜单的 Mitesh Khapra 指出核心痛点：“印度语言技术落后于英语，主要因为缺乏足够的印度语言数据。”
该数据集兼顾了书写习惯差异，包含所有22种语言的原始文字数据，以及12种语言的罗马文本，共覆盖34种语言-文字配置。工作流程结合文档级翻译、质量评估和针对性修复，确保方程、表格和代码等关键内容得以保留。这些数据补充了自然创作的印地语文本，对于保留当地知识和文化背景至关重要。
通过共享开放式生成配方，社区不仅能复制数据，还能直接使用库、调整提示和质量检查，或将自有源文件纳入工作流程。此举旨在降低大规模印度数据生成的门槛，助力更多开发人员构建更强大的印度语言模型。
在 Nemotron 3.5 Super VL 模型的持续预训练中，新增了来自该库及12种语言自然印地语文本的100亿个代币。相关技术报告已披露详细过程，未来 Nemotron 模型将继续在此基础上迭代。
语料库构成
图 1。该语料库包含 2,601.0 亿个原始文字 token 和 224.6 亿个罗马化 token。计数使用 Gemma-4 分词器。文档记录包括共享来源的翻译版本和文字变体；这些并非唯一英文文档的数量。
语料库分为两组语言配置：
- 原始文字和罗马化数据：孟加拉语，古吉拉提语，印度语，坎纳达语，马拉雅拉语，马拉提语，尼泊尔语，奥迪亚语，旁遮普语，泰米尔语，特鲁古语和乌尔都语。
- 仅原始文字数据：阿萨米语，博多语，多格里语，克什米尔语，孔卡尼语，马伊提语，马尼普里语，汉语，桑塔利语和辛迪语。
“原始文字”指文本仍保持从英语翻译后的原生书写系统。“罗马化”指用拉丁字母书写的印度语文本，而非英语翻译。对于12种双文字语言，罗马化涵盖了被接受的原始文字翻译子集。
在构建训练混合数据时，这一区别至关重要。原始文字和罗马化记录提供不同的脚本曝光，但可能表达相同的基础内容。代币计数描述的是保留的库大小（包括接受的重写），而非训练运行的代币预算。由于数量取决于所使用的分词器，库存库大小与训练代币数量应分开解读。
从英语源文件到印度语训练数据
数据来源始于15个 Nemotron-CC-v2 子集的文档。利用 NVIDIA 开源框架 NeMo Data Designer 生成合成数据，执行翻译、质量检查和定位修复。整个工作流程保留每个源标识符，使开发人员能够追踪输出至原始文档，确保数据的可审计性和实用性。图 2 展示了12种语言的工作流程。
图二。用 NeMo 数据设计器和 Gemma-4-31B-it 实现的 12 种语言的四阶段 Indic 合成数据管道。流程包括翻译英语文档、评估翻译质量、修复得分较低的输出。其他十种语言采用下文描述的独立印度语翻译工作流程。
十二种语言的工作流程
针对这12种语言，工作流对完整文档进行翻译，以便模型在段落、表格和方程中利用上下文。选用 Gemma-4-31B-it 模型对比完整文档，检查翻译质量及技术内容（如代码、方程、网址和格式）的保留情况。提示词明确区分需翻译的散文内容与需保留的技术元素。
翻译完成后，使用同一模型评估每个输出与其英语源的质量。评分机制借鉴多维质量指标 (MQM)，根据类型和严重程度分类翻译错误，涵盖意义、流利性、术语、风格和格式。仅保留得分至少75分（满分100）的输出。对于低分输出，利用评估反馈指导修复，并根据相同标准重新评估。此过程恢复了跨越原始文字和罗马化数据的4384亿个符号，已计入总量。人工审查和故意引入错误的测试帮助识别遗漏和残留英语，从而优化提示和检查机制。
接受的原始文字翻译也是罗马化数据的起点。将子集转换为拉丁字体后，对每个结果与其原始字体输入进行检查。这种两步法将翻译与脚本转换分离。初步人类比较显示，该方法产生的幻觉添加更少，残留英语也更少。
十种语言的工作流程
对于其余十种语言，工作流进行了调整以解决长文档质量和脚本稳定性问题。使用 Indic Translate（一个支持英语与22种印度语言间文档级翻译的模型）进行翻译，随后将每个翻译与其英语源进行评估。八种语言保持全文处理方法。对于较长的桑塔利语文档，采用重叠窗口翻译并重建文档；迈特利语则先译为孟加拉文，再转换为当地文字 Meitei Mayek。这些工作流同样保留至少75分的输出，仅产生原始文字数据，不涉及基于反馈的重写。
印第安语持续预训练的影响
Nemotron 3.5 Super VL 技术报告比较了进行印第安语持续预训练 (CPT) 前后的检查点。其中10%的数据（10亿代币）用于合成与自然印地语文本的混合，其余90%保持先前训练混合物的相对比例。
在所有五个报告的印度知识和推理基准测试中——MILU、Indian MMLU-Pro、Indian ARC-Challenge、Indian ARC-Easy 和 Indian GSM8K——得分均有提升。
第 3 图显示了印地语 CPT 阶段之前和之后的 Nemotron 3.5 Super VL 性能变化。收益介于 4.98 至 9.82 个百分点之间。这种比较反映了综合和自然 Indic 数据相结合的训练阶段的变化，而非孤立合成数据库的贡献。不同基准的语言覆盖范围有所不同；此处展示的是阶段级检查点的比较，而非最终模型发布的对比。
来源：Nemotron 3.5 Super VL 技术报告，表 2。GSM8K 排除了 Odia，因为评估超出了服务上下文的限制。
这些收益支持综合合成和天然印地语 CPT 配方的有效性，同时将混合物的选择留给其他模型和语言进行进一步研究。
伴随的 Indic 报告使用12种语言组的首次通过接受数据，检查了来源混合、合成数据池大小和脚本覆盖范围。评估完整语料库（包括恢复的重写和其他十种语言）仍是后续受控研究的下一步。
Nemotron 3.5 Super VL 中更广泛的 Indic 功能
除 CPT 阶段结果外，发布的模型与上一代相比表现如何？图 4 比较了 Nemotron 3.5 Super VL 与 Nemotron 3 Super 在 Indic 任务性能和语言质量方面的差异。这些结果反映了发布模型的全部训练流程，包括 Indic CPT 和后期训练。
在展示的六个任务基准中的五个方面，Nemotron 3.5 Super VL 得分更高，涵盖知识、推理、数学、代码和翻译。仅在 IFEval 上下降了 2.04 分。此外，它在 IndiVibe 的四个方面有所提升：实用性、流利性、语言和脚本的真实性，以及适当的多言多语能力。IndiVibe 是 Sarvam AI 推出的针对印度语言助手式提示的开放基准。这些评估同时考察模型的功能能力及在印度语言中的沟通效果。
第 4 图跨越 Nemotron 超级代的任务性能和语言质量。左：六个任务基准。右：初步的 IndiVibe 条件偏好分数，而非直接的头对头胜率。标签显示百分点的变化，除了使用 chrF 点的 WMT24++。请参阅附加的 Indic 技术报告，了解基准和评估细节。
开始构建
载入语料库
在训练前检查样本，并查看数据集卡和许可证。配置使用语言、脚本和区域标签：例如，hi-Deva-IN 表示德瓦纳加里语的印度语，而 hi-Latn-IN 表示罗马化的印度语。
以下示例要求从数据集卡中获取存储库 ID，然后发现可用分区并流出样本。
from datasets import get_dataset_split_names, load_dataset
dataset_id = input("Repository ID from the dataset card: ").strip()
config = "hi-Deva-IN"
splits = get_dataset_split_names(dataset_id, config_name=config)
print("Available splits:", splits)
data = load_dataset(
dataset_id, name=config, split=splits[0], streaming=True
)
print(next(iter(data)))
Hugging Face 数据集支持流媒体传输，读者可在不下载整个数据库的情况下检查记录。发布后，请为可重现的实验固定数据集修订版本。
对于首次培训研究，建议将混合物与固定代币预算进行比较，并记录自然/合成和原始/罗马化份额。追踪每种语言的成绩，以及英语能力的保留和语言/脚本质量。在创建持有分区时，考虑来自不同语言和脚本的相同来源的记录。
为了构建更完整的配方，可将语料库与 Nemotron 培训后数据配对，例如聊天和指导或培训后混合物集合。对于印度特定的合成数据，NeMo Data Designer 可与 Nemotron-Personas-India 配合使用，后者是基于印度真实世界分布的英语和印度语合成人物。
调整生成的配方
开源的 Nemotron Bharat 翻译插件为 NeMo Data Designer 提供翻译和评估提示、可选的基于反馈的重写、文档窗口和脚本重新映射支持。使用其配置引用选择模型和语言，将提示调整到您的领域，并设置重写参数。附带的开发者说明解释了工作流程和工程选择。
建议从自有源文件的小样本开始。检查翻译质量以及代码、数学和格式的保留情况，然后在扩展之前与母语审核人员完善提示和检查。应将库的生成和验收作为单独步骤处理：插件返回候选者和分数，而您的过滤策略决定哪些记录进入训练库。
适用范围和限制
翻译可以扩大对原始资料的获取范围，但不能取代原本用印第安语写的文本，也不能保证本地知识和文化的完全覆盖。建议将该库与适当来源的天然印第安文本相结合，并根据预期用例评估所得到的混合物。
质量评估主要为自动化，并通过抽样的人工审查补充，其涵盖范围在不同语言之间有所不同。对于12种语言的工作流程（图2），翻译模型也担任评审角色。保留的文本仍可能包含错误，十种语言的工作流需要更广泛的母语使用者验证。源标识检查删除了处理重复的数据；如果有重复数据，它们不是类似内容的语义复制。
随着库的发布，AI4Bharat 在印度理工学院马德拉斯分校和 NVIDIA 的支持下，正在建立 Indic-LLM-Eval-Suite，这是一个开放且不断发展的 Indic 模型能力基准集合，有助于模型构建者评估任务性能和语言质量。
探索语言配置，测试训练组合，或将开放的配方适应新领域。分享每种语言的结果和改进生成工作流程可以帮助社区在此基础上开展工作。
进一步阅读和感谢
随行报告《缩放合成预训练数据和 Indic LLMs 的评估》以及 Nemotron 3.5 Super VL 和 Lightning 技术报告，提供了集体会计、生成方法、实验和评估细节。评估是这项工作的另一半。对于基准方面，请参阅 AI4Bharat 和 NVIDIA 的相关博客“更好的模型需要更好的基准：引入 Indic-LLM-Eval Suite”。
这项工作联合了 NVIDIA、IIT 马德拉斯、AI4Bharat 和 Bodhan AI。同时也承认在管道中使用的模型和工具贡献：Google 的 Gemma、Bodhan AI 的 Indic Translate 和 NeMo Data Designer。额外的 NVIDIA 数据资源在 Nemotron 预训练数据集中提供。
