本文探讨了解决神经网络模型过拟合的方法，包括正则化、dropout等，并介绍了LSTM的结构特点及其相较于传统RNN的优势。
主要是提问个人项目相关的问题。（简要记录）
1、训练神经网络模型过拟合了怎么解决？
正则化、dropout、提前停止、增加样本量
2、简单阐述一下LSTM的结构（门结构）？
相比于传统的RNN结构，主要增加了三个控制门：输入门、输出门、遗忘门。输入门学习来决定何时让激活传入存储单元，而输出门学习何时让激活传出存储单元，遗忘门学习何时让上一个时刻的存储单元传入下一个时刻的存储单元。
3、Rnn和Lstm的区别？
由于梯度消失/梯度爆炸的问题，传统RNN在实际中很难处理长期依赖，而LSTM则绕开了这些问题依然可学习到长期依赖关系。
lstm可以避免rnn的梯度消失，但是不能对抗梯度爆炸的问题。
非常期待7月22日Deecamp开营!!!!
扫一扫
1431
到【灌水乐园】发言
