声明:平时看些文章做些笔记分享出来,文章中难免存在错误的地方,还望大家海涵。搜集一些资料,方便查阅学习:http://yqli.tech/page/speech.html。语音合成领域论文列表请访问http://yqli.tech/page/tts_paper.html,语音识别领域论文统计请访问http://yqli.tech/page/asr_paper.html。如何查找语音资料请参考文章https://mp.weixin.qq.com/s/eJcpsfs3OuhrccJ7_BvKOg)。如有转载,请注明出处。欢迎关注微信公众号:低调奋进。
Wav2Vec2.0 on the Edge: Performance Evaluation
本文为Meta Inc在2022.02.12更新的文章,主要进行wav2vec2.0在边缘设备上的性能测试,具体的文章链接
https://arxiv.org/pdf/2202.05993.pdf
(本文主要是实验结果分享,我给总结成实验报告形式,结果仅供参考)
1 实验背景和目的
Wav2Vec2.0 是通过无监督学习Self-supervised learning对音频进行表征学习,其学习的表征信息供下游的语音识别等任务使用,如图1所示。过往的研究还没有对Wav2Vec2.0在边缘设备上进行性能测试,因此本文主要分享该实验成果。

2 实验设置
本文实验的整套方案是在PyTorch生态上进行,其量化等操作都是其生态api。该实验的模型准备如图2所示,图3和图4展示测试流程。实验数据为LibriSpeech,实验使用的lm为KenLM。实验设备Raspberry Pi 的配置如table 1所示。实验的指标包括
accuracy(WER), latency(RT

本文介绍了Wav2Vec2.0在边缘设备(如Raspberry Pi)上的性能测试,重点在于准确率、延迟、效率等方面。实验表明,使用语言模型能提升WER至少30%,但会增加约200%的内存成本。量化模型在保持性能的同时,显著降低了内存占用和能源开销。
最低0.47元/天 解锁文章
2956

被折叠的 条评论
为什么被折叠?



