最小二乘法:
最小二乘法(Least squares)是一种数学优化技术。它通过最小化误差的平方和寻找估计函数的的最优参数。
线性回归模型的一般形式为:
先以简单的单变量为例:
通过减少相应变量的实际值和预测值的差值可以获得模型的参数,即使得残差平方和最小
代表第i个记录相应的真实x和真实y值,
为预测的相应变量的值
可以用最小二乘法来求模型的各个参数
令平方损失函数
x,y均已知,即求Min(Q),则对Q分别求关于的偏导数
若求函数极小值,令, 求得
对于预测变量有多个,原理相同。
参考连接
http://blog.youkuaiyun.com/hlinghling/article/details/44263357