课程笔记——Review: Basic Structures for Deep Learning

1.Fully Connected Layer

标记方法

• $a_i^l$：第$l$层的第$i$个神经元，将同一层的$a_i^l$串在一起形成的向量表示为$a^l$
  
• $W_{ij}^l$：即l-1层和l层相连的权重，其中i表示l层连接的神经元，其中j表示l-1层连接的神经元
  
• $z_i^l$：第$l$层的第$i$个神经元的激活函数的输入
  
  

2.Recurrent Structure（同样结构反复使用）

LSTM结构

GRU(Gate Recurrent Unit)：与LSTM相比，该结构用的三个矩阵(LSTM用四个)，参数少些 不容易过拟合

（1）将$h^{t-1}$、$x^t$并在一起,乘矩阵(蓝色粗箭头表示)再通过激活函数得到$r(reset-gate)$、$z(upset-gate)$
（2）将$h^{t-1}$和$r$进行元素相乘得到新矩阵，将该矩阵和$x^t$并在一起,乘矩阵(黄色粗箭头表示)再通过激活函数得到$h^{\prime }$
（3）将$h^{t-1}$和$z$进行元素相乘，将$h^{\prime }$和$1-z$进行元素相乘，再相加得到$h^t$
（4）$h^t$乘另一个矩阵得到$y^t$

Stack RNN
注：push即将该信息放入现在输入的最前方；pop即将最上方的值丢掉；nothing即什么都没有做