最小二乘法个人理解

例子

 

拟合为 y = a + b x 的函数

超定方程组：

6 =  a+b

5 = a+2b

7 = a+3b

10 = a+4b

需要将等式两边的方差最小，使得曲线尽可能符合该4点：

[(6-(a+b))^2 + (5-(a+2b))^2 + (7-(a+3b))^2 + (10-(a+4b))^2] 最小

对a，b求偏导：

8a+20b-56 = 0;

20a+60b-154=0;

求解a=3.5，b=1.4