DL：调优trick

最新推荐文章于 2022-10-12 11:34:25 发布

原创最新推荐文章于 2022-10-12 11:34:25 发布 · 174 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#调优 #深度学习

machine learning 专栏收录该内容

15 篇文章

订阅专栏

                    
                    优化器，例如SGD，adam
学习率，乘以衰减系数
dropout层，防止过拟合

（第一跑模型不加dropout，后期调优在LSTM后添加dropout层）
变量初始化（正交分布初始化，正态分布初始化，均匀分布初始化）
训练次数（验证集loss不减少则停止）
正则化（LR）
预训练（word2vec）
激活函数（sigmoid计算量大，饱和区梯度消失；tanh梯度消失；ReLU解决梯度消失但某些神经元可能永远不会激活，leaky ReLU可以解决ReLU问题，但没有完全证明leaky ReLU好于ReLU）
模型选择（CNN对轮廓敏感，RNN对连续序列敏感）