Improving speech recognition by revising gated recurrent units

最新推荐文章于 2020-03-18 14:46:36 发布
最新推荐文章于 2020-03-18 14:46:36 发布
阅读量262 收藏
点赞数
分类专栏： 深度学习论文阅读 RNN
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wydbyxr/article/details/84579652
版权

Improving speech recognition by revising gated recurrent units

  通过修改门控循环单元改善语音识别。

一般的 GRU 架构

在这里插入图片描述

本论文提出的M-reluGRU

  移除重置门并且使用 ReLU 激活函数替代 tanh 后，我们可以得到新的公式：我们将这个架构称为 M-reluGRU。
在这里插入图片描述

深度学习与自然语言处理(7)_斯坦福cs224d 语言模型，RNN，LSTM与GRU
寒小阳
07-17 5万+
说明：本文为斯坦福大学CS224d课程的中文版内容笔记，已得到斯坦福大学课程@Richard Socher教授的授权翻译与发表 1.语言模型 语言模型用于对特定序列的一系列词汇的出现概率进行计算。一个长度为m的词汇序列{w1,…,wm}的联合概率被表示为P(w1,…,wm)。由于在得到具体的词汇之前我们会先知道词汇的数量，词汇wi的属性变化会根据其在输入文档中的位置而定，而联合概率P(w1,…,wm)的计
AAAI 2022 论文列表
gbstack08的专栏
02-15 2万+
链接及代码之后会更新 GitHub链接：https://github.com/gbstack/AAAI-2022-papers Scaled ReLU Matters for Training Vision Transformers Pichao Wang, Xue Wang, Hao Luo, Jingkai Zhou, Zhipeng Zhou, Fan Wang, Hao Li, Rong Jin Search Strategies for Topological Network Optimizat
《Improving speech recognition by revising gated recurrent units》
wgc7998的博客
12-13 476
作者：Mirco Ravanelli , Philemon Brakel , Maurizio Omologo  , Yoshua Bengio  来源：Interspeech 2017 摘要部分：         本文通过进一步改进GRU并提出一种更适合语音识别的简化架构。 工作分为两部分， 首先，建议在GRU设计中移除复位门，从而实现更高效的单门架构。 其次，建议使用ReLU激活函数替换...
基于SincNet的原始波形说话人识别
凌逆战的博客
10-24 2133
speaker recognition from raw waveform with SincNet Mirco Ravanelli, Yoshua Bengio 　　作为一种可行的替代i-vector的说话人识别方法，深度学习正日益受到欢迎。利用卷积神经网络(CNNs)直接对原始语音样本进行处理，取得了良好的效果。而不是使用标准的手工制作的功能，后一种CNNs从波形中学习低电平的语...
激活函数：Sigmoid，Tanh，Softmax，Swish，Relu系列，GLU+GTU
clover_my的博客
06-03 8884
激活函数：Sigmoid，Tanh，Softmax，Swish，Relu系列，GLU+GTU 激活函数又称“非线性映射函数”，是深度卷积神经网络中不可或缺的模块。可以说，深度网络模型强大的表示能力大部分便是由激活函数的非线性单元带来的。激活函数是网络中非线性的来源，去除了该部分之后网络就只剩下线性运算部分，而且线性运算的组合叠加也是线性的，最后得到的结果模型等价于单层的线性模型。为了能够适用于复...
PyTorch-Kaldi 深度学习语音识别开源软件
海上机械师
03-18 2865
Kaldi 是 C++ 实现的语音识别软件，缺少像 Python 的简单与灵活。PyTorch-Kaldi 旨在构建 Kaldi 与 PyTorch 之间的联系，充分利用 Kaldi 高效性与 PyTorch 灵活性。PyTorch-Kaldi 除了建立 Kaldi 与 PyTorch 之间的联系，还嵌入了非常有用的功能，用于开发最新的语音识别器。程序易于加入自定义的声学模型，包含初始化方法和预执行的模型。PyTorch-Kaldi 支持多个特征和标签流、神经网络组合的建模。程序已公开发布在 Github。
循环神经网络(RNN, Recurrent Neural Networks)介绍
热门推荐
我和我追逐的梦~~~
09-23 53万+
循环神经网络(RNN, Recurrent Neural Networks)介绍   这篇文章很多内容是参考：http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-introduction-to-rnns/，在这篇文章中，加入了一些新的内容与一些自己的理解。  循环神经网络(Recurrent Neural N
<深度学习优化策略-4> 基于Gate Mechanism的激活单元GTU、GLU
lqfarmer的博客
05-24 6112
1 Sigmoid和Tanh激活函数及存在问题     深度学习（神经网络）中最先被广泛使用的激活函数是Sigmoid函数和双曲正切激活函数，都是非线性的激活函数，两个激活函数的表达式如下： sigmoid函数：      f(x)= 1 / (1+exp(−x)) 双曲正切函数：       f(x)= tanh(x)     激活函数的图形如图所示：
Al_challenger_2018_sentiment_analysis_top17_基于Aspect Level思路的解决方案
xiayangmian4130的博客
01-10 1642
本文思路来源于基于Aspect Level思路的解决方案. 这篇文章的主要目的是记录复现过程中的心得和体会。 训练词向量 预处理 将繁体字转换为简体字，使用了zhconv 去掉停用词 中文分词，使用了jieba分词 去除了标点符号（训练词向量时） 训练词向量 word2vec模型 词向量模型参数如下 model = Word2Vec(sentences, sg=1, size=100, c...
特征金字塔网络 (FPN)
wydbyxr的博客
11-29 1万+
特征金字塔网络 (FPN)   特征金字塔网络 (FPN) 发表在 2017 年的 CVPR 上。   FPN 是基于一个特征提取网络的，即是基于一个主干模型的，它可以是常见的 ResNet 或者 DenseNet 之类的网络（常见的命名方法是：主干网络-层数-FPN，例如：ResNet-101-FPN）。   这是个万金油网络，可以用在目标检测、实例分割、姿态识别、面部识别等各种各样的应用里。文...
Pseudo-siamese网络
wydbyxr的博客
11-27 3173
Pseudo-siamese网络   这个网络与siamese network网络最大的区别在于两个分支是权值不共享的，是真正的双分支网络模型。   Pseudo-siamese在网络的两个分支上，每个分支是不同的映射函数，也就是说它们提取特征的结构是不一样的，左右两个分支，有不同的权值、或者不同的网络层数等，两个函数互不相关，只是在最后的全连接层，将他们连接在一起了。   这个网络相当于训练参数...
空间变换网络（Spatial Transform Networks，STN）
wydbyxr的博客
11-28 3117
空间变换网络（Spatial Transform Networks，STN）   该网络不需要关键点的标定，能够根据分类或者其它任务自适应地将数据进行空间变换和对齐（包括平移、缩放、旋转以及其它几何变换等）。在输入数据在空间差异较大的情况下，这个网络可以加在现有的卷积网络中，提高分类的准确性。   STN 计算较快，几乎没有增加原有网络模型的训练时间。由于它能够在训练过程中，学习到与任务相关的空间...
VGG(visual geometry group，超分辨率测试序列)
wydbyxr的博客
11-11 3008
VGG(visual geometry group，超分辨率测试序列) test过程   采用multi-scale输入尺寸的形式（输入尺寸介于[256:512]），具体执行流程如下：   1）采用不同规格的图片作为输入（4种或6种规格）；   2）最后一个maxpool层之前按照原有网络执行；   3）修改最后一个maxpool层为shift-max-pool，对网络中的最后一个卷积层的每一个f...
Semantic Scene Completion from a Single Depth Image
wydbyxr的博客
11-23 2951
Semantic Scene Completion from a Single Depth Image Princeton University(普林斯顿大学)1.论文简介 1.1摘要 论文解决的问题是semantic scene completion（语义场景补全），之前的方法是将分为两个问题：1.场景补全（scene completion），也就是预测体积占用，一般是用体素 （vo
PVANet的总结和思考
wydbyxr的博客
03-30 2478
本文主要是针对《PVANet: Lightweight Deep Neural Networks for Real-time Object Detection》 的总结和思考。阅读时如有错误，你来打我。
最新论文阅读（30）
wydbyxr的博客
06-10 2462
3D Hand Pose Estimation: From Current Achievements to Future Goals - 2017年12月 - 综述性论文；论文回答了3D手姿态估计的当前状态是什么，还有哪些挑战需要解决？ - 很多人 　　基于HIM2017挑战赛的结果，调查了在三种任务（单帧三维姿态估计，三维手部追踪和手部姿态估计）下的11种最先进的方法。 　　我们分析不同...
PVANet--实时的物体发现（检测）
wydbyxr的博客
03-31 2455
一、论文总结 二、使用说明 三、部分结果
最新论文阅读（11）
wydbyxr的博客
06-07 2452
An Anchor-Free Region Proposal Network for Faster R-CNN based Text Detection Approaches - 2018年4月 - 无锚区域提议网络（AF-RPN） - 微软亚洲研究院 　　对于尺度变化比较大的数据集来说，Faster RCNN 的 RPN 阶段 anchor 的设计就会比较复杂(需要手动设计各种比例尺，高宽...
Improving Generalization Performance by Switching from Adam to SGD
最新发布
05-18
"Improving Generalization Performance by Switching from Adam to SGD" is a research paper that proposes that switching from the Adam optimizer to stochastic gradient descent (SGD) can improve the ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值