机器学习实战 第八章 预测数值型数据：回归（Regression）

首先介绍线性回归，然后引入局部平滑技术，更好地拟合数据。接着探讨回归在“欠拟合”情况下的缩减（shrinkage），探讨偏差和方差的概念。

一、用线性回归找到最佳拟合直线

优点：结果已于理解，计算上并不复杂。
缺点：对非线性的数据拟合不好。
使用数据类型：数值型和标称型。

回归方程（regression equation），回归系数（regression weights），求回归系数的过程就是回归。说到回归，一般都是指线性回归（linear regression），还存在非线性回归模型。

假定输入数据存放在矩阵$X$中，而回归系数存放在向量$w$中，那么对于给定的数据$X_1$，预测结果将会通过$Y_1=X_1^Tw$。现在的问题是，手里有一些$x$和对应的$y$，如何找到$w$呢？常用的方法是找到使误差（一般采用平方误差，否则正负误差会相互抵消）最小的$w$。平方误差可写作：

$$\sum_{i=1}^m(y_i-x_i^Tw)^2$$

用矩阵表示还可以写成$(Y-Xw)^T(Y-Xw)$，如果对w求导，得到$X^T(Y-Xw)$，令其等于零，解出$w$如下（这里的$\hat w$是