梯度下降法与正规方程法

为了修正权系数，最终实现正确的分类，我们可以使用梯度下降法和正规方程法。其中特征变量比较少（n没有上万）时，我们既可以用梯度下降法又可以用正规方程法，但当特征变量比较多时，我们最好用梯度下降法，因为当特征变量比较多是，用正规方程法计算会比较慢。

正规方程法：

梯度下降法：

假设我们的判别函数为    ,

cost function 为:

,

利用梯度下降法：

 

for(j=0 and j=1  );

则：

其中  是学习速率，当学习速率越大时，调整步伐越大，学习速率过大，会使算法变得不稳定，但是学习速率过小时，算法收敛的时间就会增大。在计算时要同时更新。如果不改变学习速率，使用梯度下降法容易得到局部最优，所以我们需要尝试不同的学习速率，然后找到最好的那个。

为了时梯度下降的速度变得更快，即使梯度下降收敛所需的循环次数减少，我可可以使用特征缩放(fenture scaling),

即    ，其中 u1是均值，s1是范围，让X1变换到一个较小的范围；