INTERSPEECH 2022｜FS-CANet: 基于全带子带交叉注意力机制的语音增强

最新推荐文章于 2025-10-14 11:45:32 发布
原创 最新推荐文章于 2025-10-14 11:45:32 发布 · 1.7k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #深度学习

提出FS-CANet模型，采用全带-子带交叉注意力机制，优化了FullSubNet系列模型，参数量减少25%，在复杂声学环境下显著提升降噪性能。

INTERSPEECH 2022

FS-CANet: 

基于全带子带交叉注意力机制的语音增强

本文由清华大学与腾讯天籁实验室、香港中文大学合作，提出了一个全带-子带交叉注意力（FSCA）模块来交互融合全局信息和局部信息，并将其应用于FullSubNet，构建了一个新的语音增强模型FS-CANet。 FS-CANet在降低了 25％ 的参数量的情况下进一步提升了原有语音增强模型在复杂声学环境下的降噪性能，在无混响的条件下SI-SDR达到了 18.08 dB ，有混响的条件下SI-SDR达到了 16.82 dB ，超越了现有的最好的方法。

01 背景动机

单通道语音增强方法从单通道带噪音频信号中去除背景噪声，旨在提高语音的质量和可懂度，在助听器、音频通信和自动语音识别中有着重要的应用。 近年来，基于深度学习的语音增强方法，在低信噪比、混响等挑战性条件下可以取得较好的效果，相关方法可以分为时域方法和频域方法。 时域方法直接从带噪语音波形预测干净的语音波形。 频域方法则一般以带噪频谱特征为输入，其学习目标是干净的频谱特征或掩模（包括理想二值掩模IBM、理想比掩模IRM、理想复比掩模cIRM等）。 总的来说，考虑到系统的鲁棒性和计算复杂度，频域方法更为人们所广泛使用。

FullSubNet作为一种单通

最低0.47元/天 解锁文章
论文翻译：2021_FullSubNet: A Full-Band And Sub-Band Fusion Model For Real-Time Single-Channel Speech Enha...
凌逆战的博客
11-10 1325
论文地址：Fullsubnet：实时单通道语音增强的全频带和子频带融合模型 代码地址：https://github.com/haoxiangsnr/FullSubNet 引用格式：Hao X, Su X, Horaud R, et al. FullSubNet: A Full-Band and Sub-Band Fusion Model for Real-Time Single-Channel...
位置注意力CANet
weixin_47180164的博客
12-05 1550
水平方向操作后得到H1（C×H×1），竖直方向操作后得到H2(C×1×W)，然后竖直方向的维度转换后得到H22(C×W×1)，将其水平和竖直方向得到的特征图从空间维度拼接得到H3(C×(H+W)×1)，后面经过和SENet类似的操作，既是使用1×1卷积降维和激活函数，即得到。x_w = x_w.permute(0, 1, 3, 2) #[n,c/32和8比大小，大的留下， 1，w] 相当于还原回来原来的四维。x_h = self.pool_h(x) #[n,c,h,1] x方向的w平均池化。
DNS-Challenge实践及问题总结
最新发布
pkyang2004的博客
10-14 1013
笔者近期工作为语音去噪AI模型的训练/调优及质量评估，工作过程中基于DNS-Challenge项目生成大规模训练数据集和语音质量评估，这里对使用过程中碰到过一些问题进行总结和分享。
CA-Net论文阅读
goodenough5的博客
03-13 1413
要设计注意力方面的医学分割模型，CANet是集合了3种注意力，做了很详尽的消融实验。并且它的可解释性强，这对医学分割来说是非常重要的。
Interspeech 2022丨FFSVC 2022 远场说话人识别比赛
AI_SHELL的博客
04-24 3468
近日，FFSVC 2022 远场说话人识别比赛已开放注册系统、提交系统和 Leaderboard，新的训练集/开发集/测试集已经发布。 官网：https://ffsvc.github.io/ 01 背 景 FFSVC 2022（Far-field speaker verification challenge 2022）是 Interspeech 2022 的 satellite events 之一，由昆山杜克大学、新加坡国立大学、南加州大学和希尔贝壳公司共同发起的远场说话人识别比赛。本次比赛的目的..
INTERSPEECH 2022——基于层级上下文语义信息的多尺度语音合成风格建模
weixin_48827824的博客
12-05 1495
本文由清华大学与虎牙信息科技有限公司、元象唯思控股（深圳）有限公司和香港中文大学合作。 人类语音的风格表达是多尺度的，不仅包括全局尺度的情感表达，还包括局部尺度的韵律表达。 而现有关于表现力语音合成的工作只考虑了单一尺度的说话风格。
INTERSPEECH 2023 | HD-DEMUCS：使用异构解码器进行通用语音恢复
daiguaxiedaima的博客
07-13 648
HDDEMUCS是基于Demucs（v1）进行改进的，主要创新点在于异构解码器和损失函数HDDEMUCS模型使用多分辨率短时傅里叶变换损失函数 (Multi-Resolution STFT Loss, MRSTFT)作为主要的训练损失函数。这种损失函数结合了时域和频域的信息，特别适合音频增强任务。
ICASSP2024 | MLCA-AVSR: 基于多层交叉注意力机制的视听语音识别
weixin_48827824的博客
02-26 2762
视听语音识别（Audio-visual speech recognition, AVSR）是指结合音频和视频信息对语音进行识别的技术。当前，语音识别（ASR）系统在准确性在某些场景下已经达到与人类相媲美的水平。然而在复杂声学环境或远场拾音场景，如多人会议中，ASR系统的性能可能会受到背景噪音、混响和多人说话的重叠的干扰而严重下降。基于视频的视觉语音识别（VSR）系统通常不会受到声学环境的干扰。
INTERSPEECH 2022｜CALM: 基于对比学习的表现力语音合成跨模态说话风格建模【语音之家】
weixin_48827824的博客
11-29 1204
本文由清华大学与腾讯科技有限公司和香港中文大学合作，并 在腾讯公司落地应用 。 说话风格建模对于表现力语音合成具有重要作用。
interspeech2021-conversational-tts:https
04-12
Link to the paper: Sample 1 Transcripts A 和 B 正在玩手机游戏。 A：保护我方花木兰。呃，那个…（花木兰是游戏内角色的名字。） B（打断）："叫了个鸭子"？...A（接上句）：这个大小姐肯定要被他搞死。...
INTERSPEECH 2022 | 钉钉蜂鸣鸟音频实验室论文入选国际顶会，创新提出窄带滤波网络架构
阿里技术
09-06 4531
利用深度学习来提升语音增强效果和鲁棒性，已成为实时音视频通信领域研究的热点之一。钉钉蜂鸣鸟音频实验室提出了一种新的窄带滤波网络架构，可大幅提升去噪和去混响联合语音增强效果，提升音频质量。
NOIZEUS语音增强数据库
06-15
NOIZEUS语音增强数据压缩包。包括clean 语音数据，和各种加噪数据。
Python-基于深度学习的语音增强使用keraspython
08-11
基于深度学习的语音增强使用keras python
interspeech 2022 语音合成和语音识别简报
低调奋进
09-23 1061
语音合成领域统计列表请访问http://yqli.tech/page/tts_paper.html，语音识别领域论文统计请访问http://yqli.tech/page/asr_paper.html。表一和图二为语音合成每个研究方向的文章分布状况以及对比，由此可知声学模型、声音转换、情感合成系统、声码器、个性化和歌唱等占据绝对的优势。另外mos统计所有音频质量评估的文章，因为有相关的比赛，所以文章较多。interspeech 2022的语音识别文章有篇，具体的文章分布参见表4和图3的饼状图和柱状图。
小米AI实验室4篇论文入选语音技术顶会INTERSPEECH 2022
小米云技术
06-24 2076
滴滴——重磅消息新鲜出炉！！全球语音领域顶级会议 INTERSPEECH 2022公布了论文入选名单，小米 AI 实验室4篇论文被接收。INTERSPEECH 是由国际语音通信协会ISCA组织的语音领域的顶级会议之一，也是全球最大的综合性语音领域的科技盛会，在业内享有极高的声誉，对参与企业和单位有着严苛的准入门槛要求。高手云集的技术宴，小米工程师究竟在语音、声学技术领域...
论文翻译：2021_Towards model compression for deep learning based speech enhancement
www_xuhss_com的博客
04-08 1775
Python微信订餐小程序课程视频 https://edu.youkuaiyun.com/course/detail/36074 Python实战量化交易理财系统 https://edu.youkuaiyun.com/course/detail/35475 目录 摘要1  引言2  算法描述A  基于DNN的语音增强B  迭代非结构化和结构化剪枝C  稀疏正则化D  基于聚类的量化3  实验步骤A  数据处理B&nbsp
Interspeech2022论文解读 | LODR：一种更好、更轻量的语言模型融合新方式
weixin_48827824的博客
09-19 1201
本文介绍清华大学语音处理与机器智能实验室（Speech Processing and Machine Learning Intelligence, SPMI）与美团的联合工作：为端到端ASR（Automatic Speech Recognition）提出一种性能更好、解码更轻量的语言模型融合方式——LODR。该工作已被语音领域的国际会议Interspeech 2022接收，论文的作者是郑华焕、安柯宇、欧智坚、黄辰、丁科、万广鲁。
推荐深度学习语音增强模型：全卷积神经网络
gitblog_00064的博客
05-26 693
推荐深度学习语音增强模型：全卷积神经网络 去发现同类优质开源项目:https://gitcode.com/ 在这个数字化的时代，音频处理技术在我们的日常生活中扮演着越来越重要的角色，从语音识别到噪声消除，无不彰显其价值。今天，我们要介绍一个基于Tensorflow 2.0的开源项目，它实现了一种高效、实用的全卷积神经网络（FCN）用于语音增强。 项目介绍 这个项目源自论文《A Fully Conv...
U-Net结构改进：双交叉注意力模块（DCA）
热门推荐
记录
05-07 2万+
本文由迈阿密大学的研究团队于2023年3月30日发表，提出了双交叉注意力模块（Dual Cross-Attention , DCA），其目标是在轻微的参数和复杂性增加的情况下改进U-Net及其变体，能够简单而有效地增强u-net结构中的跳跃连接（skip-connection）。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值