Bidirectional Recurrent Neural Networks

摘要

• a regular recurrent neural network （RNN） $\to$ a bidirectional recurrent neural network (BRNN)
• a preset future frame： 预设的未来架构。
• . Structure and training procedure： 架构和训练程序。
• TIMIT database.

INTRODUCTION

• the parameters of the model 能够由监督训练过程所决定。
• Artificial neural networks： 人工神经网络(ANN)
• Multilayer perceptrons ：MLP
• static data patterns静态数据模式
• 多层前馈网络在处理静态数据上是受限的。
• f the size of the input window in advance：提前设计输入窗口的数量。
• different ANN structures： 调研了不同的ANN结构。
• 改进RNN的版本：
  双向循环神经网络：
  a bidirectional recurrent neural network,

Technical

Consider a sequence of input data vectors:
X1T={x1,x2,x3,⋯ ,xT−1,xT}X^{T}_1 = \{x_1,x_2,x_3,\cdots,x_{T-1},x_T\}X1T​={x1​,x2​,x3​,⋯,xT−1​,xT​}
a sequence of corresponding output data vectors
y1T={y1,y2,y3,⋯ ,yT−1,yT}y^{T}_1 = \{y_1,y_2,y_3,\cdots,y_{T-1},y_{T}\}y1T​={y1​,y2​,y3​,⋯,yT−1​,yT​}
目的是学习一种规则，给定输入数据去预测输出数据。

• 输出是连续的，问题被定义为回归问题。
• 输出是类别标签的，问题被定义为分类问题。
• Unimodal Regression:单峰回归。或函数最大化。
• 输出数据假设：Gaussian with zero mean and a fixed global
  data-dependent variance、

• the convenient Euclidean distance 欧几里得距离。
• themean-squared-error criterion： 均方误差标准
• • thecross-entropycriterion 交叉熵标准

分类

• amultinomial out putdistribution：多项式输出分布。
• 
• 

• .BidirectionalRecurrentNeuralNetworks

• • BRNN能够被训练：
• • using allavailable input informationin the past and future of a specific time frame
• （使用过去和未来的输入信息）一个特定的时间框架。
  

总结

这篇文章，先不当做重点读，先将代码给其复现完整，全部都将其搞定，慢慢的将其研究透彻。在开始学习这篇文章，开始研读这篇文章都行啦的理由与打算。慢慢的开始将代码给读透彻，研读彻底。