NVIDIA发布印度语预训练语料及数据管线

NVIDIA 联合 IIT Madras 的 AI4Bharat 实验室发布 Nemotron-pretraining-Indic-v1 预训练语料，覆盖 22 种印度语言、约 2.8 万亿 token，其中原生文字 2601.0 亿 token、罗马化 224.6 亿 token，共 34 种语言-文字配置。 NVIDIA 称，该语料将与其开源、GPU 加速的数据生成管线一同发布，后者正是用来构建这批数据的。语料发布后，用户可固定数据集版本以保证实验可复现；Hugging Face Datasets 支持流式读取，无需下载整个语料即可查看记录。

AI 根据报道生成 · 54 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。