最小二乘法

最小二乘法则是一种统计学习优化技术，它的目标是最小化误差平方之和来作为目标，从而找到最优模型，这个模型可以拟合（fit）观察数据。 
回归学习最常用的损失函数是平方损失函数，在此情况下，回归问题可以用著名的最小二乘法来解决。最小二乘法就是曲线拟合的一种解决方法。 

最小二乘法的问题分为两类：

• 线性最小二乘法
• 非线性最小二乘法

如果是线性的则有闭式解(closed-form solution)，唯一解。理解为所有点都在某条线上，全拟合好了。
非线性的经常需要数值方法来求解。比如：随机梯度下降或者牛顿法等。当然，随机梯度下降也可以解决线性问题。（这段概念我搬运的~~~）

好的，本章只谈线性问题，非线性的梯度下降法我在后面的博客会写。

线性的最小二乘法拥有唯一解，则求出未知参数的极小值。

下面我们通过公式推算，来了解什么是最小二乘法：

这里为什么要凑成这种形式呢？

是为了便于我们进行向量化乘法。

具体会在简单线性回归中讲解。