关于最小二乘法

最小二乘法，用于优化得到一组解，这组解距离实际解得值得差的总和最小，以这个差的总和作为优化能量的优化问题

对于线性的最小二乘法而言，通常遇到的情况是求解方程over-determined，就是方程个数大于未知量个数，这种最小二乘优化问题，往往是可以凸优化的，可以找到闭式解（方程的解可以用公式具体表达出来）

而非线性最小二乘往往需要通过迭代的方式来求解。并不是凸优化，可能存在几个局部最优