最小二乘法

考虑超定方程组（超定指未知数少于方程个数）：

其中m代表有m个等式，n代表有 n 个未知数

   

，m>n ；将其进行向量化后为：

　　

   

， 

 

， 

显然该方程组一般而言没有解，所以为了选取最合适的

   

让该等式"尽量成立"，引入残差平方和函数S

（在统计学中，残差平方和函数可以看成n倍的均方误差MSE）

当

   

时，

   

取最小值，记作：

通过对

   

进行微分求最值，可以得到：

如果矩阵

   

非奇异则

   

有唯一解：