最小二乘法

Least Mean Squares是进行线性回归的常用方法。它选择的回归模型应该使所有观察值的误差平方和达到最小。
一元线性样本回归模型如公式所示：

$$Y_i=\hat AX_i+\hat B+e_i$$
$$e_i=Y_i-\hat AX_i-\hat B \qquad [1]$$
即求一组$A,B$使得$\sum_{i=1}^ne_i^2$最小时，直线$Y=AX+B$是拟合观察值的最优解。
设 $$Q(\hat A,\hat B)=\sum_{i=1}^n(Y_i-\hat AX_i-\hat B)^2$$
对$\hat A,\hat B$分别求偏导，得到：
$$\frac{\partial Q}{\partial \hat A}=\sum_{i=1}^n(Y_i-\hat AX_i-\hat B)(-X_i)\qquad[2]$$
$$\frac{\partial Q}{\partial \hat B}=\sum_{i=1}^n(Y_i-\hat AX_i-\hat B)(-1)\qquad[3]$$
使$Q$最小，即求两个变量偏导为0。由$[2][3]$展开、移项得：
$$\sum_{i=1}^nX_i^2\hat A+\sum_{i=1}^nX_i\hat B=\sum_{i=1}^nX_iY_i\qquad[4]$$
$$\sum_{i=1}^nX_i\hat A+n\hat B=\sum_{i=1}^nY_i\qquad[5]$$
联立$[4][5]$ 求解，得到直线方程。