ASR之Conformer

最新推荐文章于 2025-06-23 16:44:05 发布
最新推荐文章于 2025-06-23 16:44:05 发布
阅读量629 收藏 4
点赞数 1
CC 4.0 BY-SA版权
文章标签： 语音识别 transformer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lcx137785/article/details/132577232
文章探讨了Conformer，一种结合了Transformer全局关联性和CNN局部特性在端到端语音识别中的模型。它包含ConformerBlock、不同模块设计、研究维度如MHSA-CNN结合方式、MacaronFFN和注意头数量，以及在LibriSpeech数据集上的实验结果。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

原文链接：Conformer: Convolution-augmented Transformer for Speech Recognition

一、原理分析

由于Transformer注重全局相关性，而CNN注重局部相关性，则二者结合可能在端到端ASR中取得较以往的RNN更好的效果。

二、结构

Conformer Block = (1/2 * FNN + MHSA + Conv + 1/2 * FNN + LayerNorm) with Reisdual

三、与Transformer区别

1.不同的模块

a)SWISH + ReLU： 使用激活函数 Swish(x) = x * torch.sigmoid(x)

b)CNN Block

c)Macaron FFN : 使用成对FNN 并乘以1/2权重，如Conformer Block图

d)Relative Pos.Emb 位置编码方法:       

  PE(pos, 2i) = sin(pos / 10000 ^ {2i/dm})\\\ PE(pos, 2i+1) = cos(pos / 10000 ^ {2i/dm})

其中pos为输入单位在输入中的位置，2i 代表该向量中的第 2i 个维度，dm为维度的总数。

2.结论

第二个与第三个模块最为重要

四、几个研究维度

1.MHSA与CNN结合方式

a)使用轻量级CNN

b)交换MHSA与CNN的顺序

c)将输入划分开再传入多个注意头中

2.Macaron FFN

使用双FFN和权重乘以1/2，哪个更重要？都重要！

3.注意头的数量

注意头数 * 维度数(dm) == 512，其中注意头数取16较为合适

4.卷积核大小

文章研究了3、7、17、32、65等大小的卷积核对结果的影响，kernel_size == 32 时效果最好

五、数据相关

1.数据集

LibriSpeech、testclean、testother

2.语音预处理

80-channel filterbanks、25ms window、10ms stride

3.频谱增强

with mask parameter (F = 27), and ten time masks with maximum time-mask ratio (pS = 0.05)，, where the maximum-size of the time mask is set to pS times the length of the utterance.

（这里暂时不太明白）

megumi222
关注
模型推理: Conformer 语音识别
shengyin714959的博客
07-27 685
硬件：寒武纪 MLU370 AI 加速卡框架：ONNX、MagicMind 0.14.0。
ASR Conformer模型论文及代码分析
u013250861的博客
05-29 794
Conformer是Google在2020年提出的语音识别模型，基于Transformer改进而来，主要的改进点在于Transformer在提取长序列依赖的时候更有效，而卷积则擅长提取局部特征，因此将卷积应用于Transformer的Encoder层，同时提升模型在长期序列和局部特征上的效果，实际证明，该方法确实有效，在当时的LibriSpeech测试集上取得了最好的效果。
使用 Conformer 模型实现自动语音识别，ASR
2401_82889064的博客
05-27 151
使用 Conformer 模型实现自动语音识别，ASR
Conformer ASR详解
yyp1998的博客
10-30 6432
Conformer: Convolution-augmented Transformer for Speech Recognition 论文地址：https://arxiv.org/abs/2005.08100 Conformer编码器 Conformer编码器的结构如下图左侧所示，其中每个Conformer块包含四个模块：分别是前馈模块，多头自注意力模块、卷积模块和另一个前馈模块。与右侧的Transformer编码器的结构相比，Conformer块的改变主要体现在两处：1.增加了卷积模块；2.将前馈模块分
Conformer:用于语音识别的卷积增强Transformer
qq_47896523的博客
08-14 2615
Transformer模型善于捕捉基于内容的全局交互，而CNN则能有效地利用局部特征。在这项工作中，通过研究如何将卷积神经网络和Transformer结合起来，以参数有效的方式对音频序列的局部和全局依赖关系进行建模，从而达到两全面性。为此，提出了用于语音识别的卷积增强Transformer，命名为Conformer。Conformer显著优于之前的Transformer和基于CNN的模型，达到了最先进的精度。
音频-视觉高效Conformer：稳健的语音识别新模型
步子哥的博客
07-05 562
在公开可用的 Lip Reading Sentences 2 (LRS2) 和 Lip Reading Sentences 3 (LRS3) 数据集上进行的实验表明，使用音频和视觉模态可以更好地识别存在环境噪声的语音，并显著加快训练速度，在训练步骤减少 4 倍的情况下达到更低的 WER。然而，尽管在清晰的音频样本上表现出色，但在嘈杂的语音中，性能往往会下降。本文将介绍一种名为音频-视觉高效Conformer (AVEC) 的模型，该模型旨在提高语音识别的鲁棒性，尤其是在存在环境噪声的情况下。
英特尔 OpenVINO™ 助力端到端语音识别模型 Conformer：中英文混合语音识别方案全面升级...
OpenVINO的博客
04-29 671
点击蓝字关注我们,让开发变得更有趣排版 | 李擎英特尔OpenVINO™助力端到端语音识别模型Conformer：中英文混合语音识别方案全面升级PaddleSpeech 又带着新功能和大家见面了。本次更新，为开发者们带来了基于端到端语音识别模型 Conformer 的中英文混合语音识别方案，通过命令行和Python可以快速体验，也可以根据 PaddleSpeech 模型训练方案定制与业务场景相关的...
PPASR的V2版本Conformer训练超大数据集
11-11
PPASR的V2版本训练Conformer模型文件，使用Fbank，纯PaddlePaddle，训练数据为超大数据集，13000+小时。 源码地址：https://github.com/yeyupiaoling/PPASR/tree/release/2.4.x
ASR入门笔记
weixin_42264992的博客
06-17 1191
ASR入门笔记
end2end-asr-pytorch:PyTorch上的端到端自动语音识别
05-29
Pytorch 上的端到端语音识别 基于 Transformer 的语音识别模型 如果您在工作中使用了本工具包中包含的任何源代码，请引用以下论文。 Winata，GI，Madotto，A.，Wu，CS，＆Fung，P.（2019年）。...
speechbrain中文预训练模型.tar
10-21
**标题与描述解析** 标题"speechbrain中文预训练模型.tar"指出这是一个与语音处理相关的预训练模型，且是为中文语言设计的。"tar"文件是Linux和Unix系统中常用的归档格式，意味着这个模型被压缩在一个tar文件里，...
论文笔记2：Conformer--用于语音识别的卷积增强 Transformer+项目实践
最新发布
Tiziano68的博客
06-23 662
Transformer 模型擅长捕捉基于内容的全局交互，而 CNN 则能够有效地利用局部特征。二者结合，这让模型在ASR领域有不错的效果- 虽然 Transformer 擅长建模长距离全局上下文，但它们提取细粒度局部特征模式的能力较弱。- 另一方面，CNN 可利用局部信息，在视觉领域被用作事实上的计算模块。它们在局部窗口上学习基于位置的共享核，从而保持平移等变性，并能够捕捉边缘和形状等特征。使用局部连接的一个局限性是，需要更多的层或参数来捕捉全局信息ConformerConFormer）是一种结合了和。
英特尔 OpenVINO 助力端到端语音识别模型 Conformer：中英文混合语音识别方案全面升级
英特尔开发人员专区
05-08 1290
如果你有更大的中英文混合数据集或者是场景相关的数据集，可以通过微调或者进一步训练，提高在业务场景中的识别效果。目前开源的中文语音识别数据集如WenetSpeech（10000小时有监督，2500小时弱监督，10000小时无监督）、英文语音识别数据集Giga Speech（10000小时有监督，33000小时无监督）都达到了万小时级别，但是混合的开源中英文语音识别数据只有SEAME(120小时)和TAL_CSASR(587小时)两个开源数据，混合数据集比单语言数据集会更少。
语音论文阅读(Conformer：基于卷积增强的Transformer语音识别模型)
热门推荐
暮木的博客
12-13 1万+
论文： Conformer: Convolution-augmented Transformer for Speech Recognition 摘要： 讲了基于CNN和Transformer的语音识别模型表现比以RNN为基础的模型好，Transformer模型擅长捕获基于内容的全局交互，而CNN则有效地利用了局部特征。 本文工作：我们通过研究如何结合卷积神经网络和Transformer到一个模型，以参数有效的方式对音频序列的局部和全局相依性进行建模，从而实现了两个方面...
语音识别中的Transformer和Conformer（一）
weixin_41613529的博客
08-16 5207
Transormer讲解
conformer勘误（自用）
weixin_43968113的博客
03-29 298
这是因为傅里叶变换得到的频域信号是由实部和虚部组成的复数信号，而在语音信号处理中，我们通常更关注的是信号的能量，因此需要对复数频域信号取模长平方得到实数功率谱。预加重处理：通过对音频信号进行预加重处理，可以减小语音信号中低频成分对高频成分的影响，有助于提高语音信号的质量。Mel滤波器组：将功率谱通过一组 Mel 滤波器进行滤波，得到 Mel 频谱，可以使用 Python 中的 librosa 库中的。需要注意的是，不同的语音识别模型可能需要不同的预处理步骤，上述步骤也不一定都必须要使用。
Conformer论文以及代码解析（上）
Hide on bush
08-23 1万+
Conformer: Local Features Coupling Global Representations for Visual Recognition1. Abstract2. Introduction3. Related Work4. Conformer4.1. Overview4.2. CNN Branch4.3. Transformer Branch 论文：conformer论文 代码：comformer源码-torch 1. Abstract 在卷积网络中，卷积操作非常擅长捕捉局部特征信息
细数语音识别中的几个former
weixin_48827824的博客
01-23 3874
随着Transformer在人工智能领域掀起了一轮技术革命，越来越多的领域开始使用基于Transformer的网络结构。目前在语音识别领域中，Tranformer已经取代了传统ASR建模方式。近几年关于ASR的研究工作很多都是基于Transformer的改进，本文将介绍其中应用较为广泛的几个former架构。
Conformer
04-01
### Conformer 架构及其在语音识别和自然语言处理中的实现 #### 背景介绍 Conformer 是一种结合卷积神经网络 (CNN) 和变压器 (Transformer) 的混合架构，最初由 Google 提出并广泛应用于自动语音识别 (ASR)[^1]。它通过融合 CNN 的局部特征提取能力和 Transformer 的全局依赖建模能力，在多个任务上表现出卓越性能。 #### Conformer 的核心组件 Conformer 主要由以下几个部分组成： 1. **多头自注意力机制 (Multi-head Self-Attention)** 多头自注意力模块允许模型捕捉输入序列之间的长期依赖关系。这一特性对于理解上下文丰富的语音信号至关重要。 2. **卷积前馈网络 (Convolution Module)** 卷积模块利用一维深度可分离卷积来增强局部特征的学习能力。这种设计不仅提高了计算效率，还保留了时间维度上的结构信息。 3. **位置编码 (Positional Encoding)** 为了使 Transformer 能够感知到序列的位置信息，通常会加入正弦/余弦形式的位置编码。然而，在某些变体中也采用了相对位置编码技术以进一步优化性能。 4. **残差连接与层归一化 (Residual Connections & Layer Normalization)** 这些标准操作有助于缓解梯度消失问题，并促进深层网络训练过程中的稳定收敛。 #### 实现细节 以下是基于 PyTorch 的简化版 Conformer 块代码示例： ```python import torch.nn as nn class ConvModule(nn.Module): def __init__(self, d_model, kernel_size=31): super(ConvModule, self).__init__() self.pointwise_conv1 = nn.Conv1d(d_model, 2 * d_model, kernel_size=1) self.depthwise_conv = nn.Conv1d( d_model, d_model, kernel_size=kernel_size, groups=d_model, padding=(kernel_size - 1) // 2, ) self.batch_norm = nn.BatchNorm1d(d_model) def forward(self, x): x = self.pointwise_conv1(x.permute(0, 2, 1)).permute(0, 2, 1) x = nn.functional.glu(x, dim=-1) x = self.depthwise_conv(x.transpose(1, 2)) x = self.batch_norm(x).transpose(1, 2) return x class ConformerBlock(nn.Module): def __init__(self, d_model, nhead, dim_feedforward, dropout=0.1): super(ConformerBlock, self).__init__() self.self_attn = nn.MultiheadAttention(d_model, nhead, dropout=dropout) self.conv_module = ConvModule(d_model) self.ffn1 = nn.Linear(d_model, dim_feedforward) self.ffn2 = nn.Linear(dim_feedforward, d_model) self.norm1 = nn.LayerNorm(d_model) self.norm2 = nn.LayerNorm(d_model) self.dropout = nn.Dropout(dropout) def forward(self, src): q = k = v = self.norm1(src) attn_output, _ = self.self_attn(q, k, v) out = src + self.dropout(attn_output) conv_out = self.conv_module(out.permute(0, 2, 1)).permute(0, 2, 1) out += self.dropout(conv_out) ffn_out = self.ffn2(nn.functional.relu(self.ffn1(self.norm2(out)))) out += self.dropout(ffn_out) return out ``` 上述代码定义了一个基本的 Conformer 块，其中包含了自注意力、卷积以及前馈网络三个主要子模块。 #### 应用场景 Conformer 已经被成功部署于多种实际应用场景之中，特别是在语音领域表现突出。例如，在 Hugging Face 平台上提供了 REST API 接口用于测试预训练好的遮蔽语言模型（Masked Language Models），这可以作为评估 Conformer 性能的一个工具[^2]。 ---
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值