序列模型

1。命名实体识别问题（Named-entity recognition）

x(i)(t) 即第i个样本的第t个位置的单词

T(i) 即第i样本训练长度

2. rnn基本表达式

3.前向传播以及反向传播的示意图

4. RNN多种结构

5.

6.RNN UNIT, 存在梯度消失问题（不能长时记忆）。

7.有gate来记录是否要记忆。

8.

9.LSTM结构。

10.lstm图示

11.双向神经网络，可以注意到计算时，weight 乘的不再是前一刻的a-1以及 x（t），而是双向 a

12 . 深层RNN，时间上连接的一般不会超过3层。