从零开始-Machine Learning学习笔记(3)-线性回归中的特征缩放与正规方程

1.特征缩放

​ 我们在使用多元线性回归的时候，会有多个变量，每个变量的量纲不一样导致其数值上也会不一样。比如我们对与房屋价格的预测上，房间的大小的单位是平方米，其数值大小在几十到几百，而房间数则是一个10以内的数值。如果我们绘制代价函数J的等高线图就可以清楚的看到特征之间的数值差异过大会导致等高线图呈现一个扁长的状态，而这样会导致梯度下降算法要迭代很多次才能收敛。

​ 因此，为了解决这个因为数值差异过大而导致的收敛速度慢的问题，我们应该在进行梯度下降之前对这些数值做一些缩放，这就是所谓的特征缩放。通常，我们将所有的特征尺度都缩放到[-1,1]之间。所使用的手段一般为均值归一化：

$$x_{n} = \frac{x_{n}-\mu_{n}}{max-min}$$
其中， $\mu_{n}$是平均值。

2.多元线性回归的正规方程

​ 所谓正规方程，就是通过矩阵运算的方式求出最优解的方法，之前我们一直采用的是梯度下降算法来求解我们回归方程中的未知量。现在则可以通过矩阵运算的方式来进行直接求解。具体的推导如下：

$$原代价函数为：J=\sum_{i=1}^{n}(y_{i}-f(x_{i}))^2=\sum_{i=1}^{n}(y_{i}-wx_{i})^2$$

$$化为矩阵形式（正规方程）：J=(y-Xw)^T(y-Xw)$$

$$代价函数对w求偏导数：\frac{dJ}{dw} = 2X^T(Xw-y)$$

$$令这个偏导数为0可以得到以下的递推式：X^TXw=X^Ty$$

$$最后可以得到w的表达式为：w=(X^TX)^{-1}(X^Ty)$$

最后我们通过正规方程得到了最优的解向量。

显然，使用这种方式要保证$(X^TX)^{-1}$要存在，即$(X^TX)^{-1}$是正定矩阵。当$(X^TX)^{-1}$不是行满秩的时候，会得到多个解向量，选择哪一个解作为输出将由学习算法的归纳偏好决定，常见的做法是引入正则化项。