6、如何调试和选择学习率α

第一、画出代价函数和迭代次数的曲面观察代价函数是否收敛；

第二、利用一个算法检测代价函数是否已经收敛；例如代价函数的下降小于一个很小的值ε（1*e-3）就认为已经收敛

第三：

应该选择较小的学习率

Summary:

-If α is too small: slow convergence.

-If α is too large: J(θ) may not decrease on every iteration;may not converge.

To choose α,try

...,0.001, 0.003 ,0.01,  0.03   ,0.1,  0.3   ,1,...