最小二乘法（Least Squares）

最新推荐文章于 2025-10-07 23:47:17 发布

原创最新推荐文章于 2025-10-07 23:47:17 发布 · 2.3k 阅读

7 ·

CC 4.0 BY-SA版权

文章标签：

#线性代数 #matlab

本文介绍了最小二乘法的基本概念及应用，通过实例演示了如何求解不相容方程组的最小二乘解，并展示了QR分解求解最小二乘问题的方法。

最小二乘法（Least Squares）

实际问题中常出现 $A x = b$ 不相容（无解）的情况，这时候就希望找到近似解 $x$ ，使得 $A x$ 尽量接近 $b$ 。

定义：如果 $m×nm\times n$ 的矩阵 $A$ 和向量 $b$ 属于 $R^m$ ，则 $A x = b$ 的最小二乘解（Least Squares Solutions）是 $R^n$ 中的 $x^\hat{x}$ ，使得 $∣∣b−Ax^∣∣≤∣∣b−Ax∣∣||b-A\hat{x}||\le ||b-Ax||$ 对所有的 $x∈Rnx\in R^n$ 都成立。

最小二乘解的最终要的特征是，无论怎么选取 $x$ ，向量 $A x$ 必然属于列空间 $ACol\space A$ ，所以需要寻找 $x$ 使得 $A x$ 是 $ACol\space A$ 中最接近 $b$ 的点。

定理：方程 $A x = b$ 的最小二乘解集和法方程 $A^TAx=A^Tb$ 的非空解集一致。

注意，这里 $A^TAx=A^Tb$ 称为 $A x = b$ 的法方程（normal equations），此法方程的解给出所有 $A x = b$ 的最小二乘解，在统计学中常记为 $XTXβ=xTyX^TX\beta=x^Ty$ 。

例1：求不相容方程组 $A x = b$ 的最小二乘解，其中 $A=[400211]A=\begin{bmatrix}4&0\\0&2\\1&1\end{bmatrix}$ ， $b=[2011]b=\begin{bmatrix}2\\0\\11\end{bmatrix}$

解：

由法方程得：
$A^TAx=A^Tb$

$ATA=[401021][400211]=[17115]A^TA=\begin{bmatrix}4&0&1\\0&2&1\end{bmatrix}\begin{bmatrix}4&0\\0&2\\1&1\end{bmatrix}=\begin{bmatrix}17&1\\1&5\end{bmatrix}$

$ATb=[401021][2011]=[1911]A^Tb=\begin{bmatrix}4&0&1\\0&2&1\end{bmatrix}\begin{bmatrix}2\\0\\11\end{bmatrix}=\begin{bmatrix}19\\11\end{bmatrix}$

则 $A^TAx=A^Tb$ 可以变为：

$[17115][x1x2]=[1911]\begin{bmatrix}17&1\\1&5\end{bmatrix}\begin{bmatrix}x_1\\x_2\end{bmatrix}=\begin{bmatrix}19\\11\end{bmatrix}$

由于 $A^TA$ 的秩为2，可逆，所以可求得 $(ATA)−1=184[5−1−117](A^TA)^{-1}=\frac{1}{84}\begin{bmatrix}5&-1\\-1&17\end{bmatrix}$

则 $A^TAx=A^Tb$ 可以解得： $x=x^=(ATA)−1ATb=184[5−1−117][1911]=[12]x=\hat{x}=(A^TA)^{-1}A^Tb=\frac{1}{84}\begin{bmatrix}5&-1\\-1&17\end{bmatrix}\begin{bmatrix}19\\11\end{bmatrix}=\begin{bmatrix}1\\2\end{bmatrix}$

例2：求方程组 $A x = b$ 的最小二乘解，其中：
$A=[110011001010101010011001]A=\begin{bmatrix}1&1&0&0\\1&1&0&0\\1&0&1&0\\1&0&1&0\\1&0&0&1\\1&0&0&1\end{bmatrix}$ ， $b=[−3−10251]b=\begin{bmatrix}-3\\-1\\0\\2\\5\\1\end{bmatrix}$

解：

$ATA=[6222220020202002]A^TA=\begin{bmatrix}6&2&2&2\\2&2&0&0\\2&0&2&0\\2&0&0&2\end{bmatrix}$

MATLAB求 $A$ 的秩为3，所以 $A$ 不可逆。

$ATb=[4−426]A^Tb=\begin{bmatrix}4\\-4\\2\\6\end{bmatrix}$

由于无法求出 $A^TA)^{-1}$ ，所以可以通过增广矩阵化简的方法求 $A^TA)x=(A^Tb)$ 的通解：

$[622242200−42020220026]→[10013010−1−5001−1−200000]\begin{bmatrix}6&2&2&2&4\\2&2&0&0&-4\\2&0&2&0&2\\2&0&0&2&6\end{bmatrix}\rightarrow \begin{bmatrix}1&0&0&1&3\\0&1&0&-1&-5\\0&0&1&-1&-2\\0&0&0&0&0\end{bmatrix}$

通解也是 $A x = b$ 的最小二乘解为：

$x=[x1x2x3x4]=[3−5−20]+x4[−1111]x=\begin{bmatrix}x_1\\x_2\\x_3\\x_4\end{bmatrix}=\begin{bmatrix}3\\-5\\-2\\0\end{bmatrix}+x_4\begin{bmatrix}-1\\1\\1\\1\end{bmatrix}$

使用QR分解求最小二乘解

定理：如果 $m×nm\times n$ 的矩阵 $A$ 的各列线性无关， $A = Q R$ 是矩阵 $A$ 的QR分解（其中 $Q$ 为一个 $m×nm\times n$ 的矩阵，其各列形成Col A的一个标准正交基， $R$ 是一个 $n×nn\times n$ 的上三角可逆矩阵，且在对角线上的元素为正数），那么对每一个属于 $R^m$ 的 $b$ ，方程 $A x = b$ 有唯一的最小二乘解 $x^=R−1QTb\hat{x}=R^{-1}Q^Tb$ 。

又因为上面的 $R$ 是一个上三角矩阵，所以 $x^=R−1QTb\hat{x}=R^{-1}Q^Tb$ 可变形为
$Rx^=QTbR\hat{x}=Q^Tb$ ，解这个形式的方程计算量更小。

例：求方程组 $A x = b$ 的最小二乘解，其中：
$A=[135110112133]A=\begin{bmatrix}1&3&5\\1&1&0\\1&1&2\\1&3&3\end{bmatrix}$ ， $b=[357−3]b=\begin{bmatrix}3\\5\\7\\-3\end{bmatrix}$

使用MATLAB求QR分解求得：

A =

       1              3              5       
       1              1              0       
       1              1              2       
       1              3              3       

>> [Q R]=qr(A)

Q =

      -1/2            1/2           -1/2           -1/2     
      -1/2           -1/2            1/2           -1/2     
      -1/2           -1/2           -1/2            1/2     
      -1/2            1/2            1/2            1/2     


R =

      -2             -4             -5       
       0              2              3       
       0              0             -2       
       0              0              0

即 $A=[−1212−12−12−12−1212−12−12−12−1212−12121212][−2−4−502300−2000]=[135110112133]A=\begin{bmatrix}-\frac{1}{2}&\frac{1}{2}&-\frac{1}{2}&-\frac{1}{2}\\-\frac{1}{2}&-\frac{1}{2}&\frac{1}{2}&-\frac{1}{2}\\-\frac{1}{2}&-\frac{1}{2}&-\frac{1}{2}&\frac{1}{2}\\-\frac{1}{2}&\frac{1}{2}&\frac{1}{2}&\frac{1}{2}\end{bmatrix}\begin{bmatrix}-2&-4&-5\\0&2&3\\0&0&-2\\0&0&0\end{bmatrix}=\begin{bmatrix}1&3&5\\1&1&0\\1&1&2\\1&3&3\end{bmatrix}$

经验算，上述QR分解（由于QR分解不是唯一的，上述分解可能和手算不一致）是正确的。

>> QT = Q.'

QT =

      -1/2           -1/2           -1/2           -1/2     
       1/2           -1/2           -1/2            1/2     
      -1/2            1/2           -1/2            1/2     
      -1/2           -1/2            1/2            1/2  
b =

       3       
       5       
       7       
      -3       

>> QT*b

ans =

      -6       
      -6       
      -4       
      -2

可见如果用MATLAB的QR分解得到的矩阵，就会有

$Rx=Q^Tb$

$[−2−4−502300−2000][x1x2x3]=[−6−6−4−2]\begin{bmatrix}-2&-4&-5\\0&2&3\\0&0&-2\\0&0&0\end{bmatrix}\begin{bmatrix}x_1\\x_2\\x_3\end{bmatrix}=\begin{bmatrix}-6\\-6\\-4\\-2\end{bmatrix}$

增广矩阵：
$[−2−4−5−6023−600−2−4]→[10010010−60012]\begin{bmatrix}-2&-4&-5&-6\\0&2&3&-6\\0&0&-2&-4\end{bmatrix}\rightarrow \begin{bmatrix}1&0&0&10\\0&1&0&-6\\0&0&1&2\end{bmatrix}$

解得 $Rx=Q^Tb$ 的最小二乘解 $x^\hat{x}$ 为：

$x^=[10−62]\hat{x}=\begin{bmatrix}10\\-6\\2\end{bmatrix}$