wydbyxr的博客

RNN  递归神经网络，即循环神经网络，Recurrent Neural Network，RNN。如何学习RNN  通过前期对RNN/LSTM的基本知识学习和语音系统方面的RNN应用学习，完成对LSTM的基本计算框架的分析和基本应用分析。  具体要求如下：  1）LSTM基本原理分析。  2）LSTM构成形式分析，包括LSTM变种结构分析，基本要求包括共性特征分析、异性特征分析、基础单...

DropoutWrapper  dropout是一种非常efficient的regularization方法，在rnn中如何使用dropout和cnn不同 对于rnn的部分不进行dropout，也就是说从t-1时候的状态传递到t时刻进行计算时，这个中间不进行memory的dropout；仅在同一个t时刻中，多层cell之间传递信息的时候进行dropout。示意图  图中，xt−2时刻的输入...

注意力机制(attention)在机器翻译中的应用  在Deep learning火起来后，最常见的建模方式是用Recurrent Neural Networks (RNN) 将上下文"“编码”"，然后再"“解码”"成目标文本。以机器翻译为例。  Google最近的论文中，用一个 RNN encoder读入context， 得到一个context vector（RNN的最后一个hidden ...

权重的时/空域共享weight-sharing is a key in DL, RNN shares weights temporally.

时延神经网络（time delay neural network/TDNN）  时延神经网络（time delay neural network/TDNN）是第一种为 ASR 使用多个 CNN 层的模型。这种模型在时间轴和频率轴上都应用了卷积运算。...

zoneout  来自《Zoneout: Regularizing RNNs by Randomly Preserving Hidden Activations》。  zoneout是rnn 时间维度上的“dropout”，要么维持前一个时刻的hidden vector，要么按照一般的样子更新。不是指单独的cell，而是指训练时的一种trick。...

Bidirectional LSTM Network

注意力机制(attention)  在Deep learning火起来后，最常见的建模方式是用Recurrent Neural Networks (RNN) 将上下文"“编码”"，然后再"“解码”"成目标文本。提出attention的缘由  常用的例子就是机器翻译。  用一个 RNN encoder读入context， 得到一个context vector（RNN的最后一个hidden s...

RNN的增强方式  主要有四种，他们各有侧重，并且都依赖于同样的底层技术——注意力机制，从而发挥作用。

GRU，Gated Recurrent Unit  Gated Recurrent Unit (GRU)，这是由 Cho, et al. (2014) 提出。它将忘记门和输入门合成了一个单一的更新门(故它只有3个门)。同样还混合了细胞状态和隐藏状态，和其他一些改动。最终的模型比标准的 LSTM 模型要简单，也是非常流行的变体。  GRU是一般的RNNs的改良版本，主要是从以下两个方面进行改进：...

长短期记忆(Long Short Term Memory, LSTM)  是一种 RNN 特殊的类型，可以学习长期依赖信息。记住长期的信息在实践中是 LSTM 的默认行为，而非需要付出很大代价才能获得的能力！  在标准的 RNN 中，这个重复的模块只有一个非常简单的结构，例如一个 tanh 层。LSTM 同样是这样的结构，但是重复的模块拥有一个不同的结构，重复模块包含四个交互的gate。LS...

Improving speech recognition by revising gated recurrent units  通过修改门控循环单元改善语音识别。一般的 GRU 架构本论文提出的M-reluGRU  移除重置门并且使用 ReLU 激活函数替代 tanh 后，我们可以得到新的公式：我们将这个架构称为 M-reluGRU。...