- 博客(13)
- 收藏
- 关注
原创 深度学习中超参数介绍,过拟合、欠拟合、梯度消失及梯度爆炸的理解
超参数的设置对训练的影响(1)学习率(learning rate)学习率(learning rate)是指在优化算法中更新网络权重的幅度大小。学习率可以是恒定的、逐渐降低的,基于动量的或者是自适应的,不同的优化算法决定不同的学习率。为了能够使得梯度下降法有较好的性能,我们需要把学习率的值设定在合适的范围内。学习率过小,会极大降低收敛速度,增加训练时间;学习率过大,可能导致参数在最优解两侧来回振荡,所以学习率对于算法性能的表现至关重要。(2)学习率调整策略一般情况下,初始参数所得目标值与要求的
2021-12-22 09:22:22
3584
空空如也
ordinarykringing
2023-05-25
TA创建的收藏夹 TA关注的收藏夹
TA关注的人