【机器学习基础】Least squares最小二乘法

最小二乘法是求线性回归问题最基础的方法之一，最近花了一点时间深入研究了一下，然后简单的整理一下思路。

先从一个简单的例子开始，对于点A（1，1），B（2，2），C（3,2）
拟合出一条直线 y = C + D x

首先我们把这三个点带入直线方程，写成矩阵的形式。

现在得到一个矩阵方程

通过矩阵我们得到了两个方程，两个变量对应两个方程组，这样我们可以分别解出这两个方程组，对于斜率D，我们可以得到

通过观察，我们继续对D进行变形，

这样我们就得到了求解斜率的公式。同理，我们也可以得到C的公式。

本来推到这里已经结束了，但是如果仔细思考一下，会发现哪里有些不对劲，对于给定的直线方程，这三个点都没办法在这条直线上，那我们为什么还要将点的坐标带入方程里去呢？

下面是Least Squares的核心思想，我们首先引入均方差（Square Loss）这个概念。