【论文笔记】ContextNet: Improving Convolutional Neural Networks for ASR with Global Context

最新推荐文章于 2024-08-29 16:02:41 发布

原创

最新推荐文章于 2024-08-29 16:02:41 发布 · 2k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#语音识别 #深度学习 #人工智能

ContextNet是一种改进的卷积神经网络，用于提高自动语音识别（ASR）的性能，通过引入全局上下文。文章指出，传统CNN受限于卷积核大小，难以捕获长距离依赖，而ContextNet通过SE结构解决了这一问题。SE结构通过全局池化和权重注入增强特征向量，增加对长距离上下文的感知。此外，文章提出了一种负采样方案，减小模型参数并保持高识别准确率。实验结果显示ContextNet在ASR任务上的优越性。

题目

ContextNet: Improving Convolutional Neural Networks for Automatic Speech
Recognition with Global Context

链接

https://arxiv.org/pdf/2005.03191.pdf

代码实现：
https://github.com/iankur/ContextNet

Contributions

使用了基于global context的CNN作为ASR的模型
持续的负采样和模型缩放来减小模型的参数的同时保证WER维持较小值

亮点与启发

文章指出：

一般CNN由于卷积核大小的限制无法获取到长距离的依赖，导致表现不如RNN-based模型
文中使用的SE结构，将一个序列的特征向量“挤压”（squeeze）到一个global context vector，然后将这个上下文向量作用与每个原始的特征向量（两者通过相乘结合）
提出负采样方案：8次不间断减小输入序列的长度，减小计算耗时的同时保证识别的准确率

文章重点

SE如何构造计算

公式：

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

TrainerNN

关注关注

1
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Graph Convolutional Neural Networks for Web-Scale Recommender Systems（用于Web级推荐系统的图形卷积神经网络）

weixin_41697507的博客

07-07

4367

Graph Convolutional Neural Networks for Web-Scale Recommender Systems 用于Web级推荐系统的图形卷积神经网络 ABSTRACT Recent advancements in deep neural networks for graph-structured data have led to state-of-the-art pe...

CTR特征建模：ContextNet & MaskNet(Twitter在用的排序模型)

sgyuanshi的博客

10-10

1417

微博在CTR特征(Embedding)重要性建模方面的一些实践方向，今天再来学习下这个方面的两个相关研究：致力于特征和特征交互精炼(refine)的ContextNet和MaskNet，其中MaskNet也是Twitter(推特)使用的精排模型底座。

参与评论您还未登录，请先登录后发表或查看评论

RecSys特征交叉 - ContextNet

qq_41196438的博客

08-29

753

2.Contextual Embedding中，共享聚合层(Aggregation)在不显著影响性能的前提下减少参数量，共享投影层会导致模型性能显著下降。1.蓝框相对较弱，证明通过子网络引入高阶交叉特征很有用；红比黄强，证明得到交叉特征后，乘比加的融合方式有用；随着ContextNet Block堆叠，特征逐渐聚焦到特定的交互特征。3.消融实验：Contextual Embedding、FFN和FFN中的非线性变化LayerNorm都有用。红框 - context聚合函数，蓝框 - 投影函数。

ContextNet：基于上下文信息优化特征Embedding的CTR模型

hong__fang的专栏

03-06

3397

逐层动态优化(dynamically refine)特征embedding向量，也是非常重要的。本文提出通过上下文信息动态优化特征embedding的CTR预估框架ContextNet

abcdefg90876的博客

08-01

778

今天给大家分享一篇来自微博的点击率预估论文，借鉴NLP领域的ELMO和Bert的思想，提出了一种使用上下文信息来优化特征嵌入的CTR预估框架，一起来看一下。1、背景特征交互的学习对于CTR...

《ContextNet：Context-Aware Image Matting for Simultaneous Foreground and Alpha Estimation》论文笔记

m_buddy的博客

10-10

1523

参考代码（训练部分未公开）：ContextNet 现有的一些基于CNN网络的matting网络都是使用三色图与原始图像作为输入，之后输出这张图对应的alpha图。而这篇文章则同时输出前景图和alpha图，对此文章提出了两个编码器：matting编码器（matting encoder，ME）和context编码器（context encoder，CE），分别用于获取表征范围在局部和较大范围的信息，之后将编码之后的两个特征进行concat，经过也是两个解码器得到需要的alpha图和前景图。对此文章还引入了两个损

「论文阅读」ShapeContextNet(SCN)：Attentional ShapeContextNet for Point Cloud Recognition

小麋鹿跑了的博客

03-17

4432

摘要我们在网络设计中采用形状上下文的概念作为构建块，开发了一种新的表示方法。由此产生的模型称为ShapeContextNet，它由一个层次结构组成，其中的模块不依赖于固定的网格，同时仍具有类似于卷积神经网络的特性——能够捕获和传播对象部分信息。此外，从基于自我注意的模型中得到启发，将自注意力应用到点云。 Shape Context Net是一种端到端模型，可应用于一般的点云分类和分割问题。图1：三维中的形状上下文内核来捕捉空间信息引言我们的论文将重点放在开发一种用于点云分类的深度学

SCNet论文详解：Improving Convolutional Networks with Self-calibrated Convolutions

baidu_32335419的博客

06-23

2540

《Improving Convolutional Networks with Self-calibrated Convolutions》是2020年CVPR的论文，作者来自于南开大学程明明团队。最近各种卷积注意力组合的模块工作层出不穷，性能涨点明显，包括之前的Res2Net、李沐团队的ResNeSt，应该是近期的热点方向。论文地址:http://mftp.mmcheng.net/Papers/20cvprSCNet.pdf 代码地址:https://github.com/MCG-NKU/SCNet 一、.

【AlexNet】ImageNet Classification with Deep Convolutional Neural Networks论文翻译

qq_69954039的博客

10-08

1102

Abstract: We trained a large, deep convolutional neural network to classify the 1.2 million high-resolution images in the ImageNet LSVRC-2010 contest into the 1000 different classes. On the test data, we achieved top-1 and top-5 error rates

【论文阅读笔记】【CVPR2020】Improving Convolutional Networks with Self-Calibrated Convolutions

creami11的博客

10-25

369

源文http://mftp.mmcheng.net/Papers/20cvprSCNet.pdf源代码https://github.com/backseason/SCNet Introduction CNN的最新进展主要致力于设计更复杂的体系结构，以增强其表示学习能力。在本文中，我们考虑在不调整模型架构的情况下改进CNN的基本卷积特征转换过程。为此，我们提出了一种新颖的自校准卷积，该卷积通过内部通信显着扩展了每个卷积层的视场，从而丰富了输出功能。特别是，与使用小卷积核（例如3 x 3）融合空间和通道方向

.NET 上下文（Context）

weixin_30822451的博客

06-02

240

.NET上下文的概念应用程序域是进程中承载程序集的逻辑分区，在应用程序域当中，存在更细粒度的用于承载.NET对象的实体，那就.NET上下文Context。所有的.NET对象都存在于上下文当中，每个AppDomain当中至少在于一个默认上下文（context0）。一般不需要指定特定上下文的对象被称为上下文灵活对象（context-agile），建立此对象不需要特定的操作，只需要由CLR自行...

.net context(上下文)

dsadasjdka的博客

03-28

2022

以前看到context只知道是一个上下文，具体的作用：当时的大概理解就是表面意思，就是一种关联关系，再具体点就说不清楚了今天详细的看了下，话不多说上图：进程（Process）、线程（Thread）、应用程序域（AppDomain）、上下文（Context）的关系如图，一个进程内可以包括多个应用程序域，也有包括多个线程，线程也可以穿梭于多个应用程序域当中。但在同一个时刻，线程只会处于...

Transformers with convolutional context for ASR

pitaojun的博客

08-23

559

Transformers with convolutional context for ASR (1)论文思路将原来sinusoidal 的位置编码用卷积学到的输入表征所代替，相对于原来的绝对位置表征，这种相对位置的编码效果更有利于后面的transformer 去发现长距离的依赖关系。具体效果：在LIbrispeech 无LM模型条件下WER达到4.7%（clean)和12.9%(other). (2）模型结构左边的结构为transformer 一个layer的组成：右边的结构为加入context后

Convolutional Neural Networks for Speech Recognition///2014

qq_42193412的博客

07-22

1087

论文地址：https://www.microsoft.com/en-us/research/publication/convolutional-neural-networks-for-speech-recognition-2/ 提取Audio特征用 (在每个卷积层，数据都是以三维形式存在的。你可以把它看成许多个二维图片叠在一起，其中每一个称为一个feature map。在输入层，如果是灰度图片...

Convolutional Neural Networks for Speech

极度视界

12-26

8544

Convolutional Neural Networks for Speech

Transformer论文详解，论文完整翻译（九）

ws_nlp_的博客

06-22

574

Transformer论文详解，论文完整翻译（九）第五章训练这一章描述了我们模型的训练过程。（个人总结，请勿转载）

ConvLWS(local/limited weight sharing):Convolutional Neural Networks for Speech Recognition 论文笔记&理解

qq_27292549的博客

04-12

2543

直接解释我理解的ConvLWS(local/limited weight sharing，局部/限制性参数共享)，不讲论文性能和其他相关东西，性能当然是杠杠的。本论文只考虑conv1d，即只对frequency进行conv操作，所以time维度没有卷积操作，但实际上，time维度因为有一个上下文context信息（一般取11帧），所以也是相当于做了time上面的conv的操作的。对于一句话的输入特征设为T*F,delta和delta-delta都加上得到T*(F*3),context取11进行拼帧得

EMSAssist：一款面向紧急医疗服务边缘计算的端到端移动语音助手

边缘计算社区

11-08

814

在紧急事件（如人为或自然灾害地区）中，准确、迅速地提供紧急医疗服务（EMS）至关重要。然而，在复杂的医疗场景中快速选择正确的 EMS 协议（规定对患者实施的医疗程序），仍然是紧急医疗技术人员 (EMT) 的一项关键而艰巨的任务。本文介绍了 EMSAssist，这是第一款用于急救医疗服务的端到端边缘移动语音助手。EMSAssist 由三个主要部分组成，可解决最先进解决方案中存在的技术难题：1）EMS...

深度学习论文阅读：Convolutional Neural Networks for Sentence Classification （TextCNN）

guangyacyb的博客

03-07

1964

这是一篇将CNN运用于句子分类的论文摘要 We report on a series of experiments with convolutional neural networks (CNN) trained on top of pre-trained word vectors for sentence-level classification tasks. We show that ...

Linear deformable convolution for improving convolutional neural networks