局部加权回归

一、基本概念思路

局部加权回归是指我们在预测一个X所对应的Y值的时候，只采用在X周围的数据进行数据拟合，它不同于我们通常所讲的线性回归拟合。在线性回归拟合中我们尽可能的去减小cost function  使得其接近为0，但是如果我们的样本得到的数据函数图象为

图中线为求出的回归方程，那么在x的取值和真实差别很大，这个情况叫做欠拟合。那么我们怎么办呢。一种解决方案是我们只利用X周围的数据来进行拟合求出回归方程，这样我们可以得到下图的红色直线，因此我们可以对X进行相对较好的预测。

 

 

 

二、求解思路

我们重新构造一个h(x)在前面加上一个权值w 即，对于w(i)应该满足一下条件：

1.在X（i）附近的值应该尽可能的接近于1

2.在X（i）远处的值尽可能的小接近于0

根据上述性质我们取w(i)为这样当在x附近的时候w(i)=1在x远处的值w(i)=0满足条件。通过计算就可以预测出X对应的Y值了。

三、问题

1.能否解决过拟合现象

因为在取x的值的时候只是取了其附近的x（i），而过拟合现象是指在全局范围内的现象，故而不能解决过拟合现象。

2.w(i)的选取是高斯函数吗

w（i）在选取的时候是随意的只要满足上述性质即可。