本文介绍了如何通过观察代价函数的变化来判断梯度下降算法是否收敛的方法，并提供了具体步骤：绘制代价函数随迭代次数变化的图表；使用算法检测代价函数是否达到稳定状态；选择合适的学习率以确保算法既能有效收敛又不过于缓慢。
第一、画出代价函数和迭代次数的曲面观察代价函数是否收敛；
第二、利用一个算法检测代价函数是否已经收敛；例如代价函数的下降小于一个很小的值ε（1*e-3）就认为已经收敛
第三：
应该选择较小的学习率
Summary:
-If α is too small: slow convergence.
-If α is too large: J(θ) may not decrease on every iteration;may not converge.
To choose α,try
...,0.001, 0.003 ,0.01, 0.03 ,0.1, 0.3 ,1,...
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
