初学算法——梯度下降法

梯度下降算法

 

注：

• :=是赋值的意思
• 右边错误是因为temp1中采用了更新后的θ0，而梯度下降算法中要求的是同时更新；右边是另外一种算法

• α太大，可能会导致不收敛

 

线性代数知识：

矩阵的加减乘除算法、单位矩阵、逆矩阵运算、矩阵的转置定义相关知识

 

特征缩放法

目的：加快梯度下降算法的收敛速度。

 

问题描述：如上左图，如果取值θ1=（0 ，5），θ2=（0，2000），则代价函数的2D图会如左图所示，很狭长，在用梯度下降算法寻找最小值的路线可能是弯弯曲曲，需要废掉很长的时间；

当我将θ1，θ2取值分别除以他的取值长度5，2000后，得到的取值范围再画2D图（上右图），则寻找收敛值得曲线会是趋向于一条直线，故这样会大大加快收敛得速度

注：缩放之后的值不能太小，也不能太大；经验值：（-3，3）之间都能接受。

 

均值归一化

目的：加快梯度下降算法的收敛速度