梯度下降法实践（特征缩放与学习率）

一：特征缩放
为什么要特征缩放？ 在我们面对多维特征问题的时候，我们要保证这些特征都具有相近的尺度，这将帮助梯度下降算法更快地收敛，减少梯度下降的循环次数。
以房价问题为例，假设我们使用两个特征，房屋的尺寸和房间的数量，尺寸的值为 0-2000 平方英尺，而房间数量的值则是 0-5，以两个参数分别为横纵坐标，绘制代价函数的等高线图能，看出图像会显得很扁，如下图所示，而且梯度下降算法需要非常多次的迭代才能收敛。

解决的方法是尝试将所有特征的尺度都尽量缩放到-1 到 1 之间，如下图。

最简单的方法是令，其中 𝜇𝑛是平均值，𝑠𝑛是标准差。

二：学习率
在之前的梯度学习算法中可以得知，梯度下降算法的每次迭代受到学习率的影响，如果学习率𝑎过小，则达到收敛所需的迭代次数会非常高；如果学习率𝑎过大，每次迭代可能不会减小代价函数，可能会越过局部最小值导致无法收敛。 通常可以考虑尝试些学习率： 𝛼 = 0.01，0.03，0.1,0.3，1…这些值，然后绘制代价函数J随迭代步数变化的曲线。然后取函数J快熟下降的一个a值。