最小二乘法

在众多科学与工程学科，如物理、化学工程、统计学、经济学、生物学、信号处理、自动控制、系统理论、医学和军事工程等中，许多问题都可能落脚到求解矩阵方程 $Ax=b$。根据数据向量 $b$ 和数据矩阵 $A \in \mathbb R^{m \times n}$ 的不同，矩阵方程有以下三种主要类型：
1. 超定矩阵方程 $m > n$, 并且数据矩阵 $A$ 和数据向量 $b$ 均已知，其中之一或者二者可能存在误差或者干扰。
2. 盲矩阵方程 仅数据向量 $b$ 已知，数据矩阵 $A$ 未知。
3. 欠定稀疏矩阵方程 $m < n$ ，数据矩阵 $A$ 和数据向量 $b$ 均已知，但未知向量 $x$ 为稀疏向量。

这里主要介绍超定矩阵方程的最小二乘求解方法。最小二乘方法是最常用的线性参数估计方法。早在高斯的年代，最小二乘方法就用来对平面上的点拟合线，对高维空间的点拟合超平面。许多从事科学研究的朋友可能对这个方法已经很熟悉，这里主要是一个简要的综述，了解最小二乘方法的原理、最优解的条件以及不足。

---

1. 普通最小二乘

普通最小二乘估计是大家最熟悉的、也是用得最多的最小二乘方法。
考虑超定矩阵方程 $Ax = b$, 其中 $b$ 为 $m \times 1$ 的数据向量， $A$ 为 $m \times n$ 的数据矩阵， 并且 $m > n$。
假定数据向量存在加性观测误差或噪声，即 $b = b_0+e$,其中 $b_0$ 和 $e$ 分别是无误差的数据向量和误差向量。
为了抑制误差对矩阵方程求解的影响，引入一个校正向量 $\triangle b$, 并用它去“扰动”有误差的数据向量 $b$ 。我们的目标是，使校正项 $\triangle b$ “尽可能小”从而实现

$$Ax = b+\triangle b \Rightarrow Ax=b$$ 的转换。也就是说，如果直接选择校正向量 $\triangle b = Ax-b$,并且使之“尽可能小”，则可以实现无误差的矩阵方程 $Ax = b$ 的求解。

上述的这一思想可用下面的优化问题进行描述

$$\min_{x} ||\triangle b||^2 = ||Ax-b||_2^2=(Ax-b)^T（Ax-b)$$
于是，矩阵方程 $Ax=b$ 的普通最小二乘解为
$$\hat x_{LS} = arg \min_{x} ||Ax-b||_2^2$$

展开上面的矩阵相乘的式子，有

$$\phi = x^TA^TAx-x^TA^Tb-b^TAx+b^Tb$$
两边对 $x$ 求导数，并且令导数为0,则有

d