实时音视频语音增强技术研究

实时音视频语音增强使用预训练视觉表示

纯音频环境中的语音增强仍然具有挑战性，特别是在存在干扰说话人的情况下。本文提出了一种简单而有效的实时音视频语音增强（AVSE）系统RAVEN，该系统能够隔离并增强屏幕上的目标说话人，同时抑制干扰说话人和背景噪声。

研究探讨了从音视频语音识别（AVSR）和主动说话人检测（ASD）中学习的视觉嵌入如何在不同信噪比（SNR）条件和干扰说话人数量下对AVSE产生贡献。结果表明，在低信噪比、多说话人环境中，连接AVSR和ASD模型的嵌入提供了最大的改进，而在仅噪声场景中，仅使用AVSR嵌入表现最佳。

此外，开发了一个在计算机CPU上运行的实时流式系统，并提供了视频演示和代码仓库。据所知，这是首个开源的实时AVSE系统实现。

评论： 已被Interspeech 2025接收

主题：
音频和语音处理（eess.AS）；新兴技术（cs.ET）；机器学习（cs.LG）

引用为：
arXiv:2507.21448 [eess.AS]
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
公众号二维码