最小二乘法

最小二乘法：

最小二乘法（Least squares）是一种数学优化技术。它通过最小化误差的平方和寻找估计函数的的最优参数。

线性回归模型的一般形式为:

先以简单的单变量为例:

通过减少相应变量的实际值和预测值的差值可以获得模型的参数,即使得残差平方和最小

代表第i个记录相应的真实x和真实y值，为预测的相应变量的值

可以用最小二乘法来求模型的各个参数

令平方损失函数

x,y均已知，即求Min（Q），则对Q分别求关于的偏导数

 

若求函数极小值，令,   求得

对于预测变量有多个，原理相同。

参考连接

 http://blog.youkuaiyun.com/hlinghling/article/details/44263357