多语言语料库“万卷·丝路”发布，AI赋能共建“一带一路”

随着共建“一带一路”进入高质量发展新阶段，科技创新与合作将在其中发挥更关键的作用。上海人工智能实验室（上海AI实验室）通过研发先进数据智能技术，提供多语言语料库等举措，探索以人工智能赋能高质量共建“一带一路”。

1月9日，上海AI实验室联合大模型语料数据联盟成员发布了“万卷·丝路”多语言预训练语料库，为多语言大模型训练提供高质量数据支撑。

“万卷·丝路”首期开源了包含泰、俄、阿、韩、越等五个语种的语料，总规模超1.2TB（单语种均超过150GB），Token总数超过300B，涵盖使用上述语种国家地区的生活、百科、文化、新闻等七大领域数据。

开源链接：https://opendatalab.com/applyMultilingualCorpus

• WanJuan-Thai：万卷-丝路（泰语）https://opendatalab.com/O