机器学习 局部加权回归及Python简单实现

一、欠拟合与过拟合

加入对给定的一组样本x_i和真实值y_i，假如合适的特征应选为x1=x_i，x2=x_i²，预测值$h\theta (x_i)$=${\sum }_{i=0}^{i=2}{\theta }_i{x}_i$=${\theta }_0+{\theta }_1{x}_i+{\theta }_2{x}_i^2$，这样拟合出的曲线较为合适。则若把特征选为x1=x_i，预测值$h\theta (x_i)$=${\sum }_{i=0}^{i=1}{\theta }_i{x}_i$=${\theta }_0+{\theta }_1{x}_i$，就会丢失二次项，预测曲线与输入值的真实值可能会有较大的误差。此类拟合方式称为欠拟合。
而若把特征选为x1=x_i，x2=x_i²…x6=x_i⁶，预测值$h\theta (x_i)$=${\sum }_{i=0}^{i=6}{\theta }_i{x}_i$=${\theta }_0+{\theta }_1{x}_i+{\theta }_2{x}_i^2...+{\theta }_6{x}_i^6$，则对于给定的样本，预测曲线几乎完美符合。这是因为当特征数量较大，甚至大到与样本数量较接近时，接近直接解出多元高次方程，损失函数几乎失去意义。这会导致虽然预测曲线完美符合训练样本，但样本外的一般性输入，预测值会与真实值偏差值极大。此类拟合称为过拟合。
因此梯度下降等参数学习需要合适选取特征集，避免欠拟合和过拟合。

二、局部加权的原因

梯度下降回归多元线性回归的预测值$h_{\theta }(x)$为${\sum }_{i=0}^{i=n}{\theta }_i{x}_i$（定义$x_0$=1，有x1~xn共n个特征)。
当要计算一个给定的检测点$\widehat{x_k}$的预测值时，多元线性回归会先求出使$\frac{1}{2}{\sum }_{i=1}^{i=m}(h_{\theta }(x_i)-y_i{)}^2$即m个样本的损失函数最小的$\hat{\theta }$=$[{\theta }_0,{\theta }_1...{\theta }_n{]}^T$