多语言语料库“万卷·丝路”发布，AI赋能共建“一带一路”

随着共建“一带一路”进入高质量发展新阶段，科技创新与合作将在其中发挥更关键的作用。上海人工智能实验室（上海AI实验室）通过研发先进数据智能技术，提供多语言语料库等举措，探索以人工智能赋能高质量共建“一带一路”。

1月9日，上海AI实验室联合大模型语料数据联盟成员发布了“万卷·丝路”多语言预训练语料库，为多语言大模型训练提供高质量数据支撑。

“万卷·丝路”首期开源了包含泰、俄、阿、韩、越等五个语种的语料，总规模超1.2TB（单语种均超过150GB），Token总数超过300B，涵盖使用上述语种国家地区的生活、百科、文化、新闻等七大领域数据。

开源链接：https://opendatalab.com/applyMultilingualCorpus

• WanJuan-Thai：万卷-丝路（泰语）https://opendatalab.com/OpenDataLab/WanJuan-Thai
• WanJuan-Russian：万卷-丝路（俄语）https://opendatalab.com/OpenDataLab/WanJuan-Russian
• WanJuan-Korean：万卷-丝路（韩语）https://opendatalab.com/OpenDataLab/WanJuan-Korean
• WanJuan-Vietnamese：万卷-丝路（越南语）https://opendatalab.com/OpenDataLab/WanJuan-Vietnamese
• WanJuan-Arabic：万卷-丝路（阿拉伯语） https://opendatalab.com/OpenDataLab/WanJuan-Arabic

---

海量数据+细分领域，适应多样化研究需求

数据是人工智能重要的基础设施，数据质量是决定人工智能应用能力的关键因素之一。针对多语言语料库发展不平衡、高质量语料短缺的研究现状，上海AI实验室开源了“万卷·丝路”多语言语料库。作为综合性文本语料库，“万卷·丝路”采集了多个国家地区的网络公开信息、文献、专利等资料，数据总规模超1.2TB，Token总数超过300B（300 billion），处于国际领先水平。首期开源的语料库主要由泰语、俄语、阿拉伯语、韩语和越南语5个子集构成，每个子集的数据规模均超过150GB。

基于“书生·浦语”智能标签分类体系，上海AI实验室研究团队将每个语料子集细分为7个大类和32个小类，覆盖历史、政治、文化、房产、购物、天气、餐饮、百科、专业知识等多类具有语言所在地特征内容，便于研究者根据具体需求检索数据，并可适应不同研究领域多样化需求。

“万卷·丝路”语料库子集分类（共计7大类、32小类，图表中仅展示了部分标签）

专家标注+数据智能，兼顾安全与质量

“万卷·丝路”语料库通过专家人工标注，确立了包含七个维度的文本数据质量评估体系，从完整性、有效性、可理解性、流畅性、相关性、相似性和安全性等方面保障数据的高标准与高质量。

通过使用基于大语言模型的数据质量评估开源工具——Dingo（https://github.com/DataEval/dingo），研究团队从多维度对“万卷·丝路”的数据质量进行了全面评估。结果表明，其五个子集均获得优异的综合评分，显著优于同类语言语料库。

为充分体现多语言特色、全面提升数据质量与适用性，发挥实验室领先的数据处理能力优势，研究团队为“万卷·丝路”设计一套精准化数据处理流程：

1.对网页及非网页数据进行标准化处理，统一数据格式，然后运用局部敏感哈希算法高效去重，降低冗余；

2.在安全性处理上，建立域名黑名单筛除不良网页数据，构建多语言特色敏感词表并结合语境评估，精准过滤有害内容，同时训练语言安全模型，进行多维度不良内容检测和筛选；

3.利用主题分类器对数据进行分类，优化知识域分布；

4.通过PPL初筛快速剔除低质量数据，再借助基于BERT的质量分类模型精准筛选高质量内容。

该流程有效融合多语言特点与行业通识技术，为多语言模型训练提供了高质量、安全可靠的数据基础。

万卷·丝路数据处理流程

为评估“万卷·丝路”数据集质量，研究团队使用“万卷·丝路”数据在开源基座上进行继续预训练，实验结果显示，使用“万卷·丝路”后，模型在多语言内容理解及推理能力上的表现均获得了提升。