【论文笔记】ContextNet: Improving Convolutional Neural Networks for ASR with Global Context

最新推荐文章于 2024-08-29 16:02:41 发布
最新推荐文章于 2024-08-29 16:02:41 发布
阅读量2k 收藏 2
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 端到端语音识别 论文笔记 文章标签： 语音识别 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zycodecsdn/article/details/109232275
ContextNet是一种改进的卷积神经网络，用于提高自动语音识别（ASR）的性能，通过引入全局上下文。文章指出，传统CNN受限于卷积核大小，难以捕获长距离依赖，而ContextNet通过SE结构解决了这一问题。SE结构通过全局池化和权重注入增强特征向量，增加对长距离上下文的感知。此外，文章提出了一种负采样方案，减小模型参数并保持高识别准确率。实验结果显示ContextNet在ASR任务上的优越性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

题目

ContextNet: Improving Convolutional Neural Networks for Automatic Speech
Recognition with Global Context

链接

https://arxiv.org/pdf/2005.03191.pdf

代码实现：
https://github.com/iankur/ContextNet

标签

Speech Recognition, CNN

Contributions

  • 使用了基于global context的CNN作为ASR的模型
  • 持续的负采样和模型缩放来减小模型的参数的同时保证WER维持较小值

亮点与启发

文章指出：

  • 一般CNN由于卷积核大小的限制无法获取到长距离的依赖，导致表现不如RNN-based模型
  • 文中使用的SE结构，将一个序列的特征向量“挤压”（squeeze）到一个global context vector，然后将这个上下文向量作用与每个原始的特征向量（两者通过相乘结合）
  • 提出负采样方案：8次不间断减小输入序列的长度，减小计算耗时的同时保证识别的准确率

文章重点

SE如何构造计算

公式：

最低0.47元/天 解锁文章

200万优质内容无限畅学
知识图谱de构建与应用（四）：知识获取
u013250861的博客
07-16 1132
知识获取是构建大规模知识图谱的重要环节，是对知识建模定义的知识要素进行实例化的过程，其依据领域知识表示实现从异构多源、多规模数据中获取知识，为后续知识融合、知识推理计算和知识赋能提供知识支撑。本章会首先介绍知识获取的一些定义、相关子任务以及一些有影响力的国际国内测评会议；然后针对一些比较重要、核心的子任务介绍相关的科学研究进展；最后针对阿里巴巴电商商品知识图谱，结合阿里巴巴的一个具体业务场景，介绍知识获取在产业界的具体实践和应用。1.实体链接任务的输入通常，实体链接任务会包含两部分的输入。[13]和。...
《ContextNet：Context-Aware Image Matting for Simultaneous Foreground and Alpha Estimation》论文笔记
m_buddy的博客
10-10 1497
参考代码（训练部分未公开）：ContextNet 现有的一些基于CNN网络的matting网络都是使用三色图与原始图像作为输入，之后输出这张图对应的alpha图。而这篇文章则同时输出前景图和alpha图，对此文章提出了两个编码器：matting编码器（matting encoder，ME）和context编码器（context encoder，CE），分别用于获取表征范围在局部和较大范围的信息，之后将编码之后的两个特征进行concat，经过也是两个解码器得到需要的alpha图和前景图。对此文章还引入了两个损
RecSys特征交叉 - ContextNet
qq_41196438的博客
08-29 718
2.Contextual Embedding中，共享聚合层(Aggregation)在不显著影响性能的前提下减少参数量，共享投影层会导致模型性能显著下降。1.蓝框相对较弱，证明通过子网络引入高阶交叉特征很有用；红比黄强，证明得到交叉特征后，乘比加的融合方式有用；随着ContextNet Block堆叠，特征逐渐聚焦到特定的交互特征。3.消融实验：Contextual Embedding、FFN和FFN中的非线性变化LayerNorm都有用。红框 - context聚合函数，蓝框 - 投影函数。
ContextNet：基于上下文信息优化特征Embedding的CTR模型
hong__fang的专栏
03-06 3343
逐层动态优化(dynamically refine)特征embedding向量，也是非常重要的。本文提出通过上下文信息动态优化特征embedding的CTR预估框架ContextNet
「论文阅读」ShapeContextNet(SCN)：Attentional ShapeContextNet for Point Cloud Recognition
小麋鹿跑了的博客
03-17 4385
摘要 我们在网络设计中采用形状上下文的概念作为构建块，开发了一种新的表示方法。由此产生的模型称为ShapeContextNet，它由一个层次结构组成，其中的模块不依赖于固定的网格，同时仍具有类似于卷积神经网络的特性——能够捕获和传播对象部分信息。 此外，从基于自我注意的模型中得到启发，将自注意力应用到点云。 Shape Context Net是一种端到端模型，可应用于一般的点云分类和分割问题。 图1：三维中的形状上下文内核来捕捉空间信息 引言 我们的论文将重点放在开发一种用于点云分类的深度学
.NET 上下文（Context）
weixin_30822451的博客
06-02 219
.NET上下文的概念 应用程序域是进程中承载程序集的逻辑分区，在应用程序域当中，存在更细粒度的用于承载.NET对象的实体，那就.NET上下文Context。所有的.NET对象都存在于上下文当中，每个AppDomain当中至少在于一个默认上下文（context0）。一般不需要指定特定上下文的对象被称为上下文灵活对象（context-agile），建立此对象不需要特定的操作，只需要由CLR自行...
ICCV2017论文摘要汇总
super_chicken的博客
04-18 7060
1. Globally-Optimal Inlier Set Maximisation for Simultaneous Camera Pose and Feature Correspondence Abstract: Estimating the 6-DoF pose of a camera from a single image relative to a pre-computed 3D p...
AAAI 2022 论文列表
热门推荐
gbstack08的专栏
02-15 2万+
链接及代码之后会更新 GitHub链接：https://github.com/gbstack/AAAI-2022-papers Scaled ReLU Matters for Training Vision Transformers Pichao Wang, Xue Wang, Hao Luo, Jingkai Zhou, Zhipeng Zhou, Fan Wang, Hao Li, Rong Jin Search Strategies for Topological Network Optimizat
【今日CV 计算机视觉论文速览 第108期】Tue, 30 Apr 2019
TomRen
05-01 2853
第108期 视觉论文速览 自拍卡通风格化 任意区域文字检测 动态minibatch的大规模弹性计算 快速人脸检测 行车事故预测数据集 非刚体重建 刚体配准
.net context(上下文)
dsadasjdka的博客
03-28 1992
以前看到context只知道是一个上下文，具体的作用：当时的大概理解就是表面意思，就是一种关联关系，再具体点就说不清楚了 今天详细的看了下，话不多说上图： 进程（Process）、线程（Thread）、应用程序域（AppDomain）、上下文（Context）的关系如图，一个进程内可以包括多个应用程序域，也有包括多个线程，线程也可以穿梭于多个应用程序域当中。但在同一个时刻，线程只会处于...
Transformers with convolutional context for ASR
pitaojun的博客
08-23 533
Transformers with convolutional context for ASR (1)论文思路 将原来sinusoidal 的位置编码用卷积学到的输入表征所代替，相对于原来的绝对位置表征，这种相对位置的编码效果更有利于后面的transformer 去发现长距离的依赖关系。具体效果：在LIbrispeech 无LM模型条件下WER达到4.7%（clean)和12.9%(other). (2）模型结构 左边的结构为transformer 一个layer的组成： 右边的结构为加入context后
CTR特征建模：ContextNet & MaskNet(Twitter在用的排序模型)
sgyuanshi的博客
10-10 1165
微博在CTR特征(Embedding)重要性建模方面的一些实践方向，今天再来学习下这个方面的两个相关研究：致力于特征和特征交互精炼(refine)的ContextNet和MaskNet，其中MaskNet也是Twitter(推特)使用的精排模型底座。
Convolutional Neural Networks for Speech Recognition///2014
qq_42193412的博客
07-22 1064
论文地址：https://www.microsoft.com/en-us/research/publication/convolutional-neural-networks-for-speech-recognition-2/ 提取Audio特征用 (在每个卷积层，数据都是以三维形式存在的。你可以把它看成许多个二维图片叠在一起，其中每一个称为一个feature map。在输入层，如果是灰度图片...
Convolutional Neural Networks for Speech
极度视界
12-26 8525
Convolutional Neural Networks for Speech
Transformer论文详解，论文完整翻译（九）
ws_nlp_的博客
06-22 557
Transformer论文详解，论文完整翻译（九） 第五章 训练 这一章描述了我们模型的训练过程。 （个人总结，请勿转载）
ConvLWS(local/limited weight sharing):Convolutional Neural Networks for Speech Recognition 论文笔记&理解
qq_27292549的博客
04-12 2515
直接解释我理解的ConvLWS(local/limited weight sharing，局部/限制性参数共享)，不讲论文性能和其他相关东西，性能当然是杠杠的。 本论文只考虑conv1d，即只对frequency进行conv操作，所以time维度没有卷积操作，但实际上，time维度因为有一个上下文context信息（一般取11帧），所以也是相当于做了time上面的conv的操作的。 对于一句话的输入特征设为T*F,delta和delta-delta都加上得到T*(F*3),context取11进行拼帧得
推荐系统遇上深度学习(一二零)-[微博]使用上下文信息来优化特征嵌入的CTR预估框架...
abcdefg90876的博客
08-01 762
今天给大家分享一篇来自微博的点击率预估论文，借鉴NLP领域的ELMO和Bert的思想，提出了一种使用上下文信息来优化特征嵌入的CTR预估框架，一起来看一下。1、背景特征交互的学习对于CTR...
EMSAssist：一款面向紧急医疗服务边缘计算的端到端移动语音助手
边缘计算社区
11-08 733
在紧急事件（如人为或自然灾害地区）中，准确、迅速地提供紧急医疗服务（EMS）至关重要。然而，在复杂的医疗场景中快速选择正确的 EMS 协议（规定对患者实施的医疗程序），仍然是紧急医疗技术人员 (EMT) 的一项关键而艰巨的任务。本文介绍了 EMSAssist，这是第一款用于急救医疗服务的端到端边缘移动语音助手。EMSAssist 由三个主要部分组成，可解决最先进解决方案中存在的技术难题：1）EMS...
深度学习论文阅读：Convolutional Neural Networks for Sentence Classification （TextCNN）
guangyacyb的博客
03-07 1909
这是一篇将CNN运用于句子分类的论文 摘要 We report on a series of experiments with convolutional neural networks (CNN) trained on top of pre-trained word vectors for sentence-level classification tasks. We show that ...
Linear deformable convolution for improving convolutional neural networks
最新发布
01-20
### 线性可变形卷积技术增强卷积神经网络性能 线性可变形卷积是一种扩展标准卷积操作的技术，允许模型自适应地调整感受野的位置。这种灵活性使得模型能够更好地捕捉不同尺度和形状的目标特征。 #### 基本原理 在传统卷积中，滤波器按照固定的空间布局滑动并提取特征。然而，在处理复杂场景时，物体可能呈现不同的姿态、比例或遮挡情况。为此，线性可变形卷积引入了一个额外的分支来预测每个位置上的偏移量(offset)，这些偏移会作用于原始采样点上[^4]： ```python import torch.nn as nn class LinearDeformConv(nn.Module): def __init__(self, in_channels, out_channels, kernel_size=3, stride=1, padding=1): super(LinearDeformConv, self).__init__() # 学习偏移量的子网 self.offset_conv = nn.Conv2d(in_channels=in_channels, out_channels=kernel_size * kernel_size * 2, # xy方向各需一个偏移 kernel_size=kernel_size, stride=stride, padding=padding) # 主干卷积层 self.conv = nn.Conv2d(in_channels=in_channels, out_channels=out_channels, kernel_size=kernel_size, stride=stride, padding=padding) def forward(self, x): offsets = self.offset_conv(x) # 预测偏移场 output = deform_conv_function(input=x, offset=offsets, weight=self.conv.weight, bias=self.conv.bias) return output ``` 这里`deform_conv_function()`代表实现具体变形卷积运算的功能函数。通过这种方式，即使面对形态各异的对象实例，也能获得更精准的感受域定位。 #### 性能提升机制 当应用于目标检测任务时，该方法有助于提高边界框回归精度以及分类准确性。特别是在多尺度变换下保持鲁棒性的能力尤为突出[^2]。由于采用了基于数据驱动的方式动态调整空间支持区域，因此相比静态模板化的常规做法更具表达力。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值