局部权重线性回归

之前的一些知识让我们总结机器学习的一般过程，是从训练到预测的顺序过程。通过一系列的历史数据，总结出一个数学模型，再根据数学模型预测未来的结果。
这一切应该都是建立在未来和过去存在联系的假设上，未来的一些行为与过去的一些行为类似。同样的条件下，可能会出现同样的结果。
之前的线性回归模型，也同样是通过历史数据，无论是房价的变化还是虫子的鸣叫。模型认为每份数据的权重是一样的，对未来预测模型的贡献是相同的。局部权重模型会认为，离预测点越近的历史数据与当前数据的关系越大，他的趋势越可能表现当前点的数据趋势。比如你会认为最近一个月的股票走势比一年前的股票走势对明天股票涨跌的影响更大。
局部权重线性回归不是一个训练过程，而是一个结合训练和预测一体的一种模型。
传统的线性回归模型，是这样的：
1. 根据历史数据得到$J(\theta)=\sum_i(y^i-\theta^Tx^i)^2$
2. 通过梯度下降或者牛顿法等最优化方法寻找合适的$\theta$,使得J