最小二乘法小结

我只是一名搬运工，以下内容来自：刘建平Pinard：https://www.cnblogs.com/pinard/p/5976811.html

---

  最小二乘法是用来做函数拟合或者求函数极值的方法。在机器学习，尤其是回归模型中，经常可以看到最小二乘法的身影，这里就对我对最小二乘法的认知做一个小结。

1. 最小二乘法的原理与要解决的问题

  最小二乘法是由勒让德在19世纪发现的，原理的一般形式很简单，当然发现的过程是非常艰难的。形式如下式：
    目标函数=∑(观测值 − 理论值)²
  观测值就是我们的多组样本，理论值就是我们的假设拟合函数。目标函数也就是在机器学习中常说的损失函数，我们的目标是得到使目标函数最小化时候的拟合函数的模型。举一个最简单的线性回归的简单例子，比如我们有m个只有一个特征的样本：
    $(x^{(1)},y^{(1)}),(x^{(2)},y^{(2)}),\cdots ,(x^{(m)},y^{(m)})$

  样本采用下面的拟合函数：
    $h_{\theta }(x)={\theta }_0+{\theta }_{1}x$

  这样我们的样本有一个特征x，对应的拟合函数有两个参数θ₀和θ₁需要求出。
  我们的目标函数为：
$$J({\theta }_0,{\theta }_1)=\sum _{i=1}^m(y^{(i)}-h_{\theta }(x^{(i)}{)}^2=\sum _{i=1}^m(y^{(i)}-{\theta }_0-{\theta }_1{x}^{(i)}{)}^2$$

  用最小二乘法做什么呢，使J(θ₀,θ₁)最小，求出使J(θ₀,θ₁)最小时的θ₀和θ₁，这样拟合函数就得出了。

  那么，最小二乘法怎么才能使J(θ₀,θ₁)最小呢？

2. 最小二乘法的代数法解法

  上面提到要使J(θ₀,θ₁)最小，方法就是对θ₀和θ₁分别来求偏导数，令偏导数为0，得到一个关于θ₀和θ₁的二元方程组。求解这个二元方程组，就可以得到θ₀和θ₁的值。下面我们具体看看过程。
  J(θ₀,θ₁)对θ₀求导，得到如下方程：
$$\sum _{i=1}^m(y^{(i)}-{\theta }_0-{\theta }_1{x}^{(i)})=0①$$

  J(θ₀,θ₁)对θ₁求导，得到如下方程：
$$\sum _{i=1}^m(y^{(i)}-{\theta }_0-{\theta }_1{x}^{(i)})x^{(i)}=0②$$

  ①和②组成一个二元一次方程组，容易求出θ₀和θ₁的值：
$${\theta }_0=\frac{{\sum }_{i=1}^m(x^{(i)}{)}^2{\sum }_{i=1}^m{y}^{(i)}-{\sum }_{i=1}^m{x}^{(i)}{\sum }_{i=1}^m{x}^{(i)}{y}^{(i)}}{m{\sum }_{i=1}^m(x^{(i)}{)}^2-({\sum }_{i=1}^m{x}^{(i)}{)}^2}$$$${\theta }_0=\frac{m{\sum }_{i=1}^m{x}^{(i)}{y}^{(i)}-{\sum }_{i=1}^m{x}^{(i)}{\sum }_{i=1}^m{y}^{(i)}}{m{\sum }_{i=1}^m(x^{(i)}{)}^2-({\sum }_{i=1}^m{x}^{(i)}{)}^2}$$

  这个方法很容易推广到多个样本特征的线性拟合。
  拟合函数表示为 $h_{\theta }(x_1,x_2,\cdots ,x_n)={\theta }_0+{\theta }_1{x}_1+\cdots +{\theta }_n{x}_n$, 其中θ_i (i = 0,1,2… n)为模型参数，x_i (i = 1,2… n)为每个样本的n个特征值。这个表示可以简化，我们增加一个特征x₀=1 ，这样拟合函数表示为：
$$h_{\theta }(x_1,x_2,\cdots ,x_n)=\sum _{i=0}^n{\theta }_i{x}_i$$

  损失函数表示为：
$$J({\theta }_0,{\theta }_1,\cdots ,\theta n)=\sum _{j=1}^m(h_{\theta }(x_0^{(j)},x_1^{(j)},\cdots ,x_n^{(j)})-y^{(j)}{)}^2=\sum _{j=1}^m(\sum _{i=0}^n{\theta }_i{x}_i^{(j)}-y^{(j)}{)}^2$$

  利用损失函数分别对θ_i(i=0,1,…n)求导,并令导数为0可得：
$$\sum _{j=1}^m(\sum _{i=0}^n({\theta }_i{x}_i^{(j)}-y^{(j)})x_i^{(j)}=0(i=0,1,\cdots ,n)$$

  这样我们得到一个N+1元一次方程组，这个方程组有N+1个方程，求解这个方程，就可以得到所有的N+1个未知的θ。
  这个方法很容易推广到多个样本特征的非线性拟合。原理和上面的一样，都是用损失函数对各个参数求导取0，然后求解方程组得到参数值。这里就不累述了。

3. 最小二乘法的矩阵法解法

  矩阵法比代数法要简洁，且矩阵运算可以取代循环，所以现在很多书和机器学习库都是用的矩阵法来做最小二乘法。
  这里用上面的多元线性回归例子来描述矩阵法解法。
  假设函数 $h_{\theta }(x_1,x_2,\cdots ,x_n)={\theta }_0+{\theta }_1{x}_1+\cdots +{\theta }_n{x}_n$,的矩阵表达方式为：
　　　　　h_θ(x)=Xθ
  其中， 假设函数h_θ(X)为m x 1的向量,θ为n x 1的向量，里面有n个代数法的模型参数。X为m x n维的矩阵。m代表样本的个数，n代表样本的特征数。

  损失函数定义为  $J(\theta )=\frac{1}{2}(X\theta -Y{)}^T(X\theta -Y)$

其中Y是样本的输出向量，维度为m x 1.
1/2在这主要是为了求导后系数为1，方便计算。

  根据最小二乘法的原理，我们要对这个损失函数对θ向量求导取0。结果如下式：
$$\frac{\partial }{\partial \theta }J(\theta )=X^T(X\theta -Y)=0$$

  这里面用到了矩阵求导链式法则，和两个矩阵求导的公式。

公式1：$\frac{\partial }{\partial X}(X^{T}X)=2X$
公式2：${\nabla }_{X}f(AX+B)=A^T{\nabla }_{Y}f,Y=AX+B$
X为向量, f(Y)为标量.

  对上述求导等式整理后可得：
    X^TXθ=X^TY
  两边同时左乘(X^TX)⁻¹可得：
    θ=(X^TX)⁻¹X^TY
  这样我们就一下子求出了θ向量表达式的公式，免去了代数法一个个去求导的麻烦。只要给了数据, 我们就可以用θ=(X^TX)⁻¹X^TY算出θ。

4. 最小二乘法的局限性和适用场景

  从上面可以看出，最小二乘法适用简洁高效，比梯度下降这样的迭代法似乎方便很多。但是这里我们就聊聊最小二乘法的局限性。
  首先，最小二乘法需要计算X^TX的逆矩阵，有可能它的逆矩阵不存在，这样就没有办法直接用最小二乘法了，此时梯度下降法仍然可以使用。当然，我们可以通过对样本数据进行整理，去掉冗余特征。让X^TX的行列式不为0，然后继续使用最小二乘法。
  第二，当样本特征n非常的大的时候，计算X^TX的逆矩阵是一个非常耗时的工作（n x n的矩阵求逆），甚至不可行。此时以梯度下降为代表的迭代法仍然可以使用。那这个n到底多大就不适合最小二乘法呢？如果你没有很多的分布式大数据计算资源，建议超过10000个特征就用迭代法吧。或者通过主成分分析降低特征的维度后再用最小二乘法。
  第三，如果拟合函数不是线性的，这时无法使用最小二乘法，需要通过一些技巧转化为线性才能使用。
  第四，讲一些特殊情况。当样本量m很少，小于特征数n的时候，这时拟合方程是欠定的，常用的优化方法都无法去拟合数据。当样本量m等于特征数n的时候，用方程组求解就可以了。当m大于n时，拟合方程是超定的，也就是我们常用与最小二乘法的场景了。

---

（欢迎转载，转载请注明出处 刘建平Pinard：https://www.cnblogs.com/pinard/p/5976811.html）