李宏毅：deep learning（一）

1、fully connected

 

2、recurrent neural network（同一个structure反复应用）

双向RNN

RNN中每个neural的计算

3、LSTM

 

三个门控机制的importance：

4、GRU

GRU是LSTM网络的一种效果很好的变体，GRU的运算量比LSTM小，它比LSTM少一个gate，它的input gate和forget gate是联动的。

5、convolutional  layer

 

example：

6、pooling layer