声明:平时看些文章做些笔记分享出来,文章中难免存在错误的地方,还望大家海涵。搜集一些资料,方便查阅学习:http://yqli.tech/page/speech.html。语音合成领域论文列表请访问http://yqli.tech/page/tts_paper.html,语音识别领域论文统计请访问http://yqli.tech/page/asr_paper.html。如何查找语音资料请参考文章https://mp.weixin.qq.com/s/eJcpsfs3OuhrccJ7_BvKOg)。如有转载,请注明出处。欢迎关注微信公众号:低调奋进。
CI-AVSR: A Cantonese Audio-Visual Speech Dataset for In-car Command Recognition
本文为香港科技大学在2022.01.11更新的文章,主要开源车载语音命令数据集,该数据集包括音频、视频和文本,适合于多模态语音识别,具体的链接
https://arxiv.org/pdf/2201.03804.pdf
注:前两天该实验室发了粤语数据集,可参考https://mp.weixin.qq.com/s/L1c-ohknkNfNHyO0TDOM2w
1 背景
随着深度学习和智能汽车的兴起,智能助手已成为促进驾驶和提供额外功能的必不可少的车载组件。然而,低资源语言存在数据稀缺问题,阻碍其研究和应用的发展。本文介绍了一个新的数据集,即粤语车载视听语音识别数据集(CI-AVSR),用于通过视频和音频数据以粤语进行车载命令识别。
2 设计
文本主要分为四类: 1) navigation; 2) music playing; 3) weather inquiry; and 4) others,具体文本设计如table