加泰罗尼亚语加入多语言NLU数据集

某中心将加泰罗尼亚语加入MASSIVE数据集

新语言数据将立即被巴塞罗那超级计算中心采用。

2022年12月5日

今年早些时候发布的MASSIVE是一个包含100万条记录的自然语言理解（NLU）数据集，由人工翻译的语料组成，涵盖51种语言、18个领域、60种意图和55种槽位类型。现正式发布MASSIVE 1.1版本，其中包含加泰罗尼亚语的新数据。

MASSIVE 1.1的下载指南可在GitHub仓库alexa/massive中查看，该数据集也可通过Hugging Face获取。关于数据集的更多信息请参阅相关论文。

加泰罗尼亚语数据的直接用户之一是巴塞罗那超级计算中心。该中心文本挖掘单元的研究员Carlos Rodríguez Penagos表示：“致力于为加泰罗尼亚语创建先进AI基础设施的AINA项目，对我们的语言被纳入MASSIVE 1.1数据集感到非常兴奋。这对于能够用用户母语流畅交流的数字助手和聊天机器人而言是一个重大进步，也是现代数字生态系统的重要需求。某中心将加泰罗尼亚语加入MASSIVE数据集，对于迄今为止在日常使用的在线平台中代表性不足的语言来说是个非常好的消息。我们将把此任务添加到CLUB（加泰罗尼亚语言理解基准测试）中，这是该语言的AI性能参考标准。感谢某中心这一重要举措。”

我们期待看到MASSIVE 1.1在加泰罗尼亚语及所有52种包含语言中的应用，并继续推进理解世界所有语言的技术发展。

欢迎参加12月7日与自然语言处理实证方法会议（EMNLP）联合举办的大规模多语言自然语言理解（MMNLU）研讨会。

致谢：感谢以下人员为MASSIVE执行加泰罗尼亚语数据收集工作：Ana Sanchez、Aaron Nash、Liam Urbach、Wouter Leeuwis、Christopher Hench、Charith Peris、Kay Rottmann、Gokhan Tur和Prem Natarajan。

会议
EMNLP 2022大规模多语言NLU研讨会

相关出版物
《MASSIVE：包含51种类型多样语言的百万示例多语言自然语言理解数据集》
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
公众号二维码