最小二乘法解析-优快云博客

本文链接：https://blog.youkuaiyun.com/xc_xc_xc/article/details/53375367

勿在浮沙筑高台

$A$ x=b

$A\in\mathbb{R}^{m\times n},\ m \gt n$
我们不能期望找到一个 x ，x $\in \mathbb{R}^n$ , 使得 $A$ x=b ;

注：这里的矩阵A相当于线性模型中的输入，x相当于系数

考虑这样一组方程式:

$x 1 + x 2 = 3 - 2 x 1 + 3 x 2 = 1 2 x 1 - x 2 = 2$ $\begin{align} &x_1+x_2=3\\ &-2x_1+3x_2=1\\ &2x_1-x_2=2\\ \end{align}$
我们需要求解 $x_1,x_2$ 。
$⎛ ⎝ ⎜ 1 - 2 2 13 - 1 ⎞ ⎠ ⎟ = ⎛ ⎝ ⎜ 312 ⎞ ⎠ ⎟$ $\begin{pmatrix} 1 & 1 \\ -2 & 3 \\ 2 & -1 \end{pmatrix} = \begin{pmatrix} 3\\1\\2\\ \end{pmatrix} \\$
我们做一个行变换
$⎛ ⎝ ⎜ 1001100 ⎞ ⎠ ⎟ = ⎛ ⎝ ⎜ 314 - 1 ⎞ ⎠ ⎟$ $\begin{pmatrix} 1 & 1 \\ 0 & 10 \\ 0 & 0 \end{pmatrix} = \begin{pmatrix} 3\\14\\-1\\ \end{pmatrix} \\$
发现其实是没有解的，如果我们选择只满足一二行的解，有
$x 1 = 8 5, x 2 = 7 5$ $x_1=\frac{8}{5},x_2=\frac{7}{5}$
把这个解带回原方程，可以算出新的结果为
$b 1 = ⎛ ⎝ ⎜ ⎜ ⎜ 31 9 5 ⎞ ⎠ ⎟ ⎟ ⎟$ $b_1= \begin{pmatrix} 3\\1\\\frac{9}{5}\\ \end{pmatrix}$
$b_0和b_1$ 之间的距离为 $||b_0-b_1||^2=\frac{1}{25}$

最小二乘法的解法如下:

$A T A x = A T b$ $A^TAx=A^Tb$
等价于：
$x^= (A T A) - 1 A T b$ $\hat x = (A^TA)^{-1}A^Tb$
我们尝试使用最小二乘法求解：
$(9 - 7 - 7 11) (x 1 x 2) = (54)$ $\begin{pmatrix} 9 & -7 \\ -7 & 11 \end{pmatrix} \begin{pmatrix} x_1 \\ x_2\end{pmatrix} = \begin{pmatrix} 5\\4\\ \end{pmatrix} \\$
求得：
$x 1 = 83 50, x 2 = 71 50$ $x_1=\frac{83}{50},x_2=\frac{71}{50}$
$b 1 = ⎛ ⎝ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ 154 50 47 50 95 50 ⎞ ⎠ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟$ $b_1= \begin{pmatrix} \frac{154}{50}\\\frac{47}{50}\\\frac{95}{50}\\ \end{pmatrix}$
$| | b 0 - b 1 | | 2 = (4 50) 2 + (3 50) 2 + (5 50 2)$ $||b_0-b_1||^2= (\frac{4}{50})^2+(\frac{3}{50})^2+(\frac{5}{50}^2)$
可以看出新生成的解与原向量的距离较短。