Recurrent Neural Network regularization
简单回顾LSTM
照例先规定符号含义,我们此处默认指多层RNN网络。规定htl∈Rnh^l_t\in{R^n}htl∈Rn表示第lll层ttt时间步的因状态,维度为n,当l=0l=0l=0时,ht0h^0_tht0表示ttt时刻的外部输入;因为LSTM网络中使用全连接网络作为常规操作,全连接的数学表达为Wx+bWx+bWx+b,为了简洁起见,我们直接用一个映射变换Tn,mT_{n,m}Tn,m表示将一个nnn维的输入映射为mmm维的输出,即Rn→RmR^n{\rightarrow}R^mRn→Rm;LLL是网络的层数,htLh^L_t