LSTM超参数调试注意事项

最新推荐文章于 2023-01-07 11:54:08 发布

转载最新推荐文章于 2023-01-07 11:54:08 发布 · 1.1k 阅读

本文介绍LSTM网络的超参数调试技巧，包括如何避免过拟合、正则化方法的选择、测试集的重要性、网络规模与样例数的关系、数据量的影响、epoch的作用、提前停止策略、学习速率的重要性、堆叠层的优势、激活函数的选择及更新器的推荐。

LSTM超参数调试
以下是手动优化RNN超参数时需要注意的一些事：

小心出现过拟合，这通常是因为神经网络在“死记”定型数据。过拟合意味着定型数据的表现会很好，但网络的模型对于样例以外的预测则完全无用。
正则化有好处：正则化的方法包括l1、l2和丢弃法等。
保留一个神经网络不作定型的单独测试集。
网络越大，功能越强，但也更容易过拟合。不要尝试用10,000个样例来学习一百万个参数参数 > 样例数 = 问题。
数据基本上总是越多越好，因为有助于防止过拟合。
定型应当包括多个epoch（使用整个数据集定型一次）。
每个epoch之后，评估测试集表现，判断何时停止（提前停止）。
学习速率是最为重要的超参数。
总体而言，堆叠层是有好处的。
对于LSTM，可使用softsign（而非softmax）激活函数替代tanh（更快且更不容易出现饱和（约0梯度））。
更新器：RMSProp、AdaGrad或momentum（Nesterovs）通常都是较好的选择。AdaGrad还能衰减学习速率，有时会有帮助。
最后，记住数据标准化、MSE损失函数 + 恒等激活函数用于回归、Xavier权重初始化
(https://deeplearning4j.org/cn/lstm)