学习笔记TF053:循环神经网络，TensorFlow Model Zoo，强化学习，深度森林，深度学习艺术

循环神经网络。https://github.com/aymericdamien/TensorFlow-Examples/blob/master/examples/3_NeuralNetworks/recurrent_network.py。

自然语言处理(natural language processing, NLP)应用网络模型。与前馈神经网络(feed-forward neural network,FNN)不同，循环网络引入定性循环，信号在神经元传递不消失继续存活。传统神经网络层间全连接，层内神经元没连接。循环神经网络隐藏层输入包括上层输出和上一时刻隐藏层输出。按时间顺序展开，下一步受本步处理影响。网络训练误差反向传播(backpropagation,BP)算法，参数权值共享。反向传播依赖当前层及前面若干层网络，随时间反向传播(backpropagation through time,BPTT)算法。加载网络时序信号按层展开，前馈静态神经网络转为动态网络。
《Supervised Sequence Labelling with Recurrent Neural Networks》http://www.cs.toronto.edu/~graves/preprint.pdf 。

循环神经网络发展。

VanillaRNN
->增强隐藏层功能
->Simple RNN
->GRU
->LSTM
->CW-RNN
->双向化加深网络
->Bidirectional RNN
->Keep Bidrectional RNN
->两者结合:DBLSTM
《Recurrent Neural Networks,Part 1-Introduction to RNNs》 http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-introduction-to-rnns/ 。

增强隐藏层功能。

简单RNN(Simple RNN,SRNN)。3层网络，隐藏层(上下文层)增加上下文单元。上下文单元节点与隐藏层节点连接、权值固定。假设当前t时刻，分3步预测P(wm)。单词Wm-1映射到词向量，INPUT(t)。连接上一次训练的隐藏层CONTEXT(t-1)，sigmoid激活函数生成当前t时刻CONTEXT(t)。softmax函数预测P(wm)。
LSTM。一般RNN梯度消失，导数链式法则导致连乘，梯度指数级消失。引入单元(cell)结构，RNN改进模型长短期记忆(Long-Short Term Memory, LSTM)。Block有1个单元(cell)，状态参数记录状态。3个门(gate)，输入门(input gate)、输出门(output gate)处理输入输出参数，忘记门(forget gate)设置选择性遗忘权重。
GRU(Gated Recurrent Unit Recurrent Neural Network)。隐藏层不同距离单词对当前隐藏层状态影响不同，越远越小。每个前面状态对当前隐藏层状态影响距离加权，越远越小。发生误差，仅更新对应单词权重。两个门，重置门r(组合新输入和前记忆)、更新门z(留下前记忆)。重置门1，更新门0，得到普通RNN。Junyoung Chung、Caglar Gulcehre、KyungHyun Cho、Yoshua Bengio论文《Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling》https://arxiv.org/abs/1412.3555 。
CW-RNN(Clockwork RNN)。时钟频率驱动RNN。隐藏层分组，不同隐藏层组工作在不同时钟频率，解决长时间依赖。每组按照规定时钟频率处理输入。时钟时间离散化，不同时间点不同隐藏层组工作，所有隐藏层在每一步不会同时工作，加快网络训练。时钟周期大组神经元速度慢，小组速度快。周期大连接周期小，周期小不连接周期大。隐藏层神经元分组，记g。每组神经元个数相同，记k。每组分配时钟周期Ti∈{T1,T2,···,Tg}。组内所有神经元全连接。Tj>Ti，组j到组i循环连接。按照时钟周期递增从左到右排序T1