Improving speech recognition by revising gated recurrent units

最新推荐文章于 2022-02-12 14:14:40 发布
最新推荐文章于 2022-02-12 14:14:40 发布
阅读量274 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 深度学习论文阅读 RNN
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wydbyxr/article/details/84579652
本研究提出一种改进的门控循环单元（GRU）架构，即M-reluGRU，通过移除重置门并采用ReLU激活函数替换tanh，显著提升语音识别效果。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Improving speech recognition by revising gated recurrent units

  通过修改门控循环单元改善语音识别。

一般的 GRU 架构

在这里插入图片描述

本论文提出的M-reluGRU

  移除重置门并且使用 ReLU 激活函数替代 tanh 后，我们可以得到新的公式：我们将这个架构称为 M-reluGRU。
在这里插入图片描述

深度学习与自然语言处理(7)_斯坦福cs224d 语言模型，RNN，LSTM与GRU
寒小阳
07-17 5万+
说明：本文为斯坦福大学CS224d课程的中文版内容笔记，已得到斯坦福大学课程@Richard Socher教授的授权翻译与发表 1.语言模型 语言模型用于对特定序列的一系列词汇的出现概率进行计算。一个长度为m的词汇序列{w1,…,wm}的联合概率被表示为P(w1,…,wm)。由于在得到具体的词汇之前我们会先知道词汇的数量，词汇wi的属性变化会根据其在输入文档中的位置而定，而联合概率P(w1,…,wm)的计
Speech Recognition vs. Voice Recognition | 语音识别工作原理 | 模型训练 | 应用
最新发布
u013669912的博客
01-02 2026
……
《Improving speech recognition by revising gated recurrent units》
wgc7998的博客
12-13 501
作者：Mirco Ravanelli , Philemon Brakel , Maurizio Omologo  , Yoshua Bengio  来源：Interspeech 2017 摘要部分：         本文通过进一步改进GRU并提出一种更适合语音识别的简化架构。 工作分为两部分， 首先，建议在GRU设计中移除复位门，从而实现更高效的单门架构。 其次，建议使用ReLU激活函数替换...
基于SincNet的原始波形说话人识别
凌逆战的博客
10-24 2207
speaker recognition from raw waveform with SincNet Mirco Ravanelli, Yoshua Bengio 　　作为一种可行的替代i-vector的说话人识别方法，深度学习正日益受到欢迎。利用卷积神经网络(CNNs)直接对原始语音样本进行处理，取得了良好的效果。而不是使用标准的手工制作的功能，后一种CNNs从波形中学习低电平的语...
激活函数：Sigmoid，Tanh，Softmax，Swish，Relu系列，GLU+GTU
clover_my的博客
06-03 8988
激活函数：Sigmoid，Tanh，Softmax，Swish，Relu系列，GLU+GTU 激活函数又称“非线性映射函数”，是深度卷积神经网络中不可或缺的模块。可以说，深度网络模型强大的表示能力大部分便是由激活函数的非线性单元带来的。激活函数是网络中非线性的来源，去除了该部分之后网络就只剩下线性运算部分，而且线性运算的组合叠加也是线性的，最后得到的结果模型等价于单层的线性模型。为了能够适用于复...
【论文笔记】Improving Transformer-based End-to-End Speech Recognition with CTC and LM Integration
Blogs of TrainerNN
10-22 749
题目： Improving Transformer-based End-to-End Speech Recognition with Connectionist Temporal Classification and Language Model Integration 链接： http://www.isca-speech.org/archive/Interspeech_2019/abstracts/1938.html 标签： Speech Recognition, Transformer, CTC, LM
Speech Recognition Using attention-based sequence-to-sequence methods
weixin_44391984的博客
02-12 411
Abstract—Speech is one of the most important and prominent manner to communicate among human being. It also has capacity to become a kind of medium when facing the human computer interaction. Speech recognition has become a popular area across research ins
【论文阅读】Improving Face Recognition from Hard Samples via Distribution Distillation Loss
weixin_43169773的博客
08-22 1333
论文地址 代码地址 其他的博客：主要是翻译 知乎的介绍 Abstract 目前基于深度学习的人脸识别算法已经可以较好的处理简单样本，但对于困难样本（低分辨率、大姿态等）仍表现不佳。目前主要有两种方式尝试解决这一问题。第一种方法是充分利用某种需要处理的人脸畸变的先验信息，设计特定的结构或损失函数。这种方式通常不能方便地迁移到其他畸变类型。第二种方法是通过设计合适的损失函数，减小类内距离，增大类间距离，得到更具辨别能力的人脸特征。这种方式一般在简单和困难样本上存在明显的性能差异。为了提升人脸识别模型在困难样本上
MicroNet Improving Image Recognition With Extremely Low.pdf
11-21
《MicroNet：在极低FLOPs下提升图像识别》 本文主要关注的是在极低计算量（例如，5M FLOPs）下进行图像识别时性能严重下降的问题。研究发现，稀疏连接性和动态激活函数是提高准确性的关键因素。...
PyTorch-Kaldi 深度学习语音识别开源软件
海上机械师
03-18 2930
Kaldi 是 C++ 实现的语音识别软件，缺少像 Python 的简单与灵活。PyTorch-Kaldi 旨在构建 Kaldi 与 PyTorch 之间的联系，充分利用 Kaldi 高效性与 PyTorch 灵活性。PyTorch-Kaldi 除了建立 Kaldi 与 PyTorch 之间的联系，还嵌入了非常有用的功能，用于开发最新的语音识别器。程序易于加入自定义的声学模型，包含初始化方法和预执行的模型。PyTorch-Kaldi 支持多个特征和标签流、神经网络组合的建模。程序已公开发布在 Github。
循环神经网络(RNN, Recurrent Neural Networks)介绍
热门推荐
我和我追逐的梦~~~
09-23 53万+
循环神经网络(RNN, Recurrent Neural Networks)介绍   这篇文章很多内容是参考：http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-introduction-to-rnns/，在这篇文章中，加入了一些新的内容与一些自己的理解。  循环神经网络(Recurrent Neural N
<深度学习优化策略-4> 基于Gate Mechanism的激活单元GTU、GLU
lqfarmer的博客
05-24 6150
1 Sigmoid和Tanh激活函数及存在问题     深度学习（神经网络）中最先被广泛使用的激活函数是Sigmoid函数和双曲正切激活函数，都是非线性的激活函数，两个激活函数的表达式如下： sigmoid函数：      f(x)= 1 / (1+exp(−x)) 双曲正切函数：       f(x)= tanh(x)     激活函数的图形如图所示：
Al_challenger_2018_sentiment_analysis_top17_基于Aspect Level思路的解决方案
xiayangmian4130的博客
01-10 1689
本文思路来源于基于Aspect Level思路的解决方案. 这篇文章的主要目的是记录复现过程中的心得和体会。 训练词向量 预处理 将繁体字转换为简体字，使用了zhconv 去掉停用词 中文分词，使用了jieba分词 去除了标点符号（训练词向量时） 训练词向量 word2vec模型 词向量模型参数如下 model = Word2Vec(sentences, sg=1, size=100, c...
特征金字塔网络 (FPN)
wydbyxr的博客
11-29 1万+
特征金字塔网络 (FPN)   特征金字塔网络 (FPN) 发表在 2017 年的 CVPR 上。   FPN 是基于一个特征提取网络的，即是基于一个主干模型的，它可以是常见的 ResNet 或者 DenseNet 之类的网络（常见的命名方法是：主干网络-层数-FPN，例如：ResNet-101-FPN）。   这是个万金油网络，可以用在目标检测、实例分割、姿态识别、面部识别等各种各样的应用里。文...
Pseudo-siamese网络
wydbyxr的博客
11-27 3224
Pseudo-siamese网络   这个网络与siamese network网络最大的区别在于两个分支是权值不共享的，是真正的双分支网络模型。   Pseudo-siamese在网络的两个分支上，每个分支是不同的映射函数，也就是说它们提取特征的结构是不一样的，左右两个分支，有不同的权值、或者不同的网络层数等，两个函数互不相关，只是在最后的全连接层，将他们连接在一起了。   这个网络相当于训练参数...
空间变换网络（Spatial Transform Networks，STN）
wydbyxr的博客
11-28 3157
空间变换网络（Spatial Transform Networks，STN）   该网络不需要关键点的标定，能够根据分类或者其它任务自适应地将数据进行空间变换和对齐（包括平移、缩放、旋转以及其它几何变换等）。在输入数据在空间差异较大的情况下，这个网络可以加在现有的卷积网络中，提高分类的准确性。   STN 计算较快，几乎没有增加原有网络模型的训练时间。由于它能够在训练过程中，学习到与任务相关的空间...
VGG(visual geometry group，超分辨率测试序列)
wydbyxr的博客
11-11 3057
VGG(visual geometry group，超分辨率测试序列) test过程   采用multi-scale输入尺寸的形式（输入尺寸介于[256:512]），具体执行流程如下：   1）采用不同规格的图片作为输入（4种或6种规格）；   2）最后一个maxpool层之前按照原有网络执行；   3）修改最后一个maxpool层为shift-max-pool，对网络中的最后一个卷积层的每一个f...
Semantic Scene Completion from a Single Depth Image
wydbyxr的博客
11-23 3023
Semantic Scene Completion from a Single Depth Image Princeton University(普林斯顿大学)1.论文简介 1.1摘要 论文解决的问题是semantic scene completion（语义场景补全），之前的方法是将分为两个问题：1.场景补全（scene completion），也就是预测体积占用，一般是用体素 （vo
Improving Language Understanding by Generative Pre-Training翻译
12-30
### 关于《通过生成式预训练提升语言理解》论文的中文翻译 #### 1. 论文背景介绍 本研究旨在探索如何利用大量的未标注数据来改进自然语言处理系统的性能。具体来说，这项工作展示了通过对大规模语料库进行无监督...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值