LSTM(循环神经网络RNN)dropout技术——Recurrent Neural Network regularization阅读笔记

本文是关于LSTM(循环神经网络)中dropout技术的阅读笔记,重点讨论如何在RNN中实施dropout以进行网络正则化。通过在RNN网络的输入位置应用dropout,避免了在循环过程中信息的逐渐丢失,确保了长序列输入时的性能稳定性。

Recurrent Neural Network regularization

简单回顾LSTM

照例先规定符号含义,我们此处默认指多层RNN网络。规定htl∈Rnh^l_t\in{R^n}htlRn表示第lllttt时间步的因状态,维度为n,当l=0l=0l=0时,ht0h^0_tht0表示ttt时刻的外部输入;因为LSTM网络中使用全连接网络作为常规操作,全连接的数学表达为Wx+bWx+bWx+b,为了简洁起见,我们直接用一个映射变换Tn,mT_{n,m}Tn,m表示将一个nnn维的输入映射为mmm维的输出,即Rn→RmR^n{\rightarrow}R^mRnRmLLL是网络的层数,htLh^L_t

LSTM(Long Short-Term Memory)网络是一种特殊的循环神经网络,它可以有效地解决传统循环神经网络中的梯度消失和梯度爆炸问题。下面是LSTM网络的发展历程: 1. Hochreiter和Schmidhuber在1997年提出了LSTM网络模型,文章标题为“Long Short-Term Memory”。[1] 2. Greff等人在2015年提出了Clockwork RNNs,其中包括了基于LSTM的分层RNNs。[2] 3. Graves等人在2013年提出了Connectionist Temporal Classification(CTC)算法,该算法使用LSTM网络进行语音识别。[3] 4. Jozefowicz等人在2015年提出了更深的LSTM网络,该网络具有数百个隐藏层和几百万个参数,可以用于机器翻译等任务。[4] 5. Zaremba等人在2014年提出了Recurrent Neural Network RegularizationRNN-R),该方法通过LSTM网络的dropout和权重衰减来避免过拟合。[5] 参考文献: [1] Hochreiter, S., & Schmidhuber, J. (1997). Long short-term memory. Neural computation, 9(8), 1735-1780. [2] Greff, K., Srivastava, R. K., Koutník, J., Steunebrink, B. R., & Schmidhuber, J. (2015). LSTM: A search space odyssey. arXiv preprint arXiv:1503.04069. [3] Graves, A., Fernández, S., Gomez, F., & Schmidhuber, J. (2006). Connectionist temporal classification: labelling unsegmented sequence data with recurrent neural networks. In Proceedings of the 23rd international conference on Machine learning (pp. 369-376). [4] Jozefowicz, R., Zaremba, W., & Sutskever, I. (2015). An empirical exploration of recurrent network architectures. In Proceedings of the 32nd International Conference on Machine Learning (ICML-15) (pp. 2342-2350). [5] Zaremba, W., Sutskever, I., & Vinyals, O. (2014). Recurrent neural network regularization. arXiv preprint arXiv:1409.2329.
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值