MIT 线性代数（34—35）读书笔记

最新推荐文章于 2023-06-28 11:03:09 发布

Paul-Huang

最新推荐文章于 2023-06-28 11:03:09 发布

阅读量1.9k

点赞数 4

CC 4.0 BY-SA版权

分类专栏： MIT 线性代数读书笔记文章标签：麻省理工读书笔记线性代数

本文链接：https://blog.youkuaiyun.com/huang1024rui/article/details/70833151

MIT 线性代数读书笔记专栏收录该内容

13 篇文章

订阅专栏

本文深入探讨了矩阵的各种逆，包括逆矩阵、左逆、右逆和伪逆的概念及应用，特别关注它们在不同条件下的适用性及其计算方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

第三十四讲：左右逆和伪逆

前面我们涉及到的逆（inverse）都是指左、右乘均成立的逆矩阵，即 $A^{-1}A=I=AA^{-1}$ 。在这种情况下， $m\times n$ 矩阵 $A$ 满足 $m=n=rank(A)$ ，也就是满秩方阵。

左逆（left inserve）

记得我们在最小二乘一讲（第十六讲）介绍过列满秩的情况，也就是列向量线性无关，但行向量通常不是线性无关的。常见的列满秩矩阵 $A$ 满足 $m=n=rank(A)$ ( $\color{red}{情况1}$ )。

列满秩时，列向量线性无关，所以其 $\color{red}{零空间}$ 中只有零解，方程 $Ax=b$ 可能有一个唯一解（ $b$ 在 $A$ 的列空间中，此特解就是全部解，因为通常的特解可以通过零空间中的向量扩展出一组解集，而此时零空间只有列向量），也可能无解（ $b$ 不在 $A$ 的列空间中）。

另外，此时行空间为 $\mathbb{R}^n$ ，也正印证了与行空间互为正交补的零空间中只有列向量。

现在来观察 $A^TA$ ，也就是在 $m>n=rank(A)$ ( $\color{red}{情况2}$ )的情况下， $n\times m$ 矩阵乘以 $m\times n$ 矩阵，结果为一个满秩的 $n\times n$ 矩阵，所以 $A^TA$ 是一个可逆矩阵。也就是说 $\underbrace{\left(A^TA\right)^{-1}A^T}A=I$ 成立，而大括号部分的 $\left(A^TA\right)^{-1}A^T$ 称为长方形矩阵 $A$ 的左逆

A - 1 l e f t = (A T A) - 1 A T

$A^{-1}_{left}=\left(A^TA\right)^{-1}A^T$

顺便复习一下最小二乘一讲，通过关键方程 $A^TA\hat x=A^Tb$ ， $A^{-1}_{left}$ 被当做一个系数矩阵乘在 $b$ 向量上，求得 $b$ 向量投影在 $A$ 的列空间之后的解 $\hat x=\left(A^TA\right)^{-1}A^Tb$ 。
如果我们强行给左逆左乘矩阵 $A$ ，得到的矩阵就是投影矩阵 $P=A\left(A^TA\right)^{-1}A^T$ ，来自 $p=A\hat x=A\left(A^TA\right)^{-1}A^T$ ，它将右乘的向量 $b$ 投影在矩阵 $A$ 的列空间中。

再来观察 $AA^T$ 矩阵，这是一个 $m\times m$ 矩阵，秩为 $rank(AA^T)=n<m$ ，也就是说 $AA^T$ 是不可逆的，那么接下来我们看看右逆。

2.右逆（right inverse）

可以与左逆对称的看，右逆也就是研究 $m\times n$ 矩阵 $A$ 行满秩的情况，此时 $n>m=rank(A)$ 。对称的，其 $\color{red}{左零空间}$ 中仅有零向量，即没有行向量的线性组合能够得到零向量。

行满秩时，矩阵的列空间将充满向量空间 $C(A)=\mathbb{R}^m$ ，所以方程 $Ax=b$ 总是有解集，由于消元后有 $n-m$ 个自由变量，所以方程的零空间为 $n-m$ 维。

与左逆对称，再来观察 $AA^T$ ，在 $n>m=rank(A)$ ( $\color{red}{情况3}$ )的情况下， $m\times n$ 矩阵乘以 $n\times m$ 矩阵，结果为一个满秩的 $m\times m$ 矩阵，所以此时 $AA^T$ 是一个满秩矩阵，也就是 $AA^T$ 可逆。所以 $A\underbrace{A^T\left(AA^T\right)}=I$ ，大括号部分的 $A^T\left(AA^T\right)$ 称为长方形矩阵的右逆

A - 1 r i g h t = A T (A A T)

$A^{-1}_{right}=A^T\left(AA^T\right)$

同样的，如果我们强行给右逆右乘矩阵 $A$ ，将得到另一个投影矩阵 $P=A^T\left(AA^T\right)A$ ，与上一个投影矩阵不同的是，这个矩阵的 $A$ 全部变为 $A^T$ 了。所以这是一个能够将右乘的向量 $b$ 投影在 $A$ 的行空间中。

前面我们提及了逆（方阵满秩），并讨论了左逆（矩阵列满秩）、右逆（矩阵行满秩），现在看一下第四种情况， $m\times n$ 矩阵 $A$ 不满秩的情况。

3.伪逆（pseudo inverse）

3.1定义

有 $m\times n$ 矩阵 $A$ ，满足 $rank(A)\lt min(m,\ n)$ ( $\color{red}{情况4}$ )，则

列空间 $C(A)\in\mathbb{R}^m,\ \dim C(A)=r$ ，左零空间 $N\left(A^T\right)\in\mathbb{R}^m,\ \dim N\left(A^T\right)=m-r$ ，列空间与左零空间互为正交补；
行空间 $C\left(A^T\right)\in\mathbb{R}^n,\ \dim C\left(A^T\right)=r$ ，零空间 $N(A)\in\mathbb{R}^n,\ \dim N(A)=n-r$ ，行空间与零空间互为正交补。

现在任取一个向量 $x$ ，乘上 $A$ 后结果 $Ax$ 一定落在矩阵 $A$ 的列空间 $C(A)$ 中。而根据维数， $x\in\mathbb{R}^n,\ Ax\in\mathbb{R}^m$ ，那么我们现在猜测，输入向量 $x$ 全部来自矩阵的行空间，而输出向量 $Ax$ 全部来自矩阵的列空间，并且是一一对应的关系，也就是 $\mathbb{R}^n$ 的 $r$ 维子空间到 $\mathbb{R}^m$ 的 $r$ 维子空间的映射。

而矩阵 $A$ 现在有这些零空间存在，其作用是将某些向量变为零向量，这样 $\mathbb{R}^n$ 空间的所有向量都包含在行空间与零空间中，所有向量都能由行空间的分量和零空间的分量构成，变换将零空间的分量消除。但如果我们只看行空间中的向量，那就全部变换到列空间中了。

那么，我们现在只看行空间与列空间，在行空间中任取两个向量 $x,\ y\in C(A^T)$ ，则有 $Ax\neq Ay$ 。所以从行空间到列空间，变换 $A$ 是个不错的映射，如果限制在这两个空间上， $A$ 可以说“是个可逆矩阵”，那么它的逆就称作伪逆，而这个伪逆的作用就是将列空间的向量一一映射到行空间中。通常，伪逆记作 $A^+$ ，因此 $Ax=(Ax),\ y=A^+(Ay)$ 。

现在我们来证明对于 $x,y\in C\left(A^T\right),\ x\neq y$ ，有 $Ax,Ay\in C(A),\ Ax\neq Ay$ ：

反证法，设 $Ax=Ay$ ，则有 $A(x-y)=0$ ，即向量 $x-y\in N(A)$ ；
另一方面，向量 $x,y\in C\left(A^T\right)$ ，所以两者之差 $x-y$ 向量也在 $C\left(A^T\right)$ 中，即 $x-y\in C\left(A^T\right)$ ；
此时满足这两个结论要求的仅有一个向量，即零向量同时属于这两个正交的向量空间，从而得到 $x=y$ ，与题设中的条件矛盾，得证。

伪逆在统计学中非常有用，以前我们做最小二乘需要矩阵列满秩这一条件，只有矩阵列满秩才能保证 $A^TA$ 是可逆矩阵，而统计中经常出现重复测试，会导致列向量线性相关，在这种情况下 $A^TA$ 就成了奇异矩阵，这时候就需要伪逆。

3.2 伪逆求解

接下来我们介绍如何计算伪逆 $A^+$ ：

其中一种方法是使用奇异值分解， $A=U\varSigma V^T$ ，其中的对角矩阵型为 $\varSigma=\left[\begin{array}{c c c|c}\sigma_1&&&\\&\ddots&&\\&&\sigma_2&\\\hline&&&\begin{bmatrix}0\end{bmatrix}\end{array}\right]$ ，对角线非零的部分来自 $A^TA,\ AA^T$ 比较好的部分，剩下的来自左/零空间。

我们先来看一下 $\varSigma$ 矩阵的伪逆是多少，这是一个 $m\times n$ 矩阵， $rank(\varSigma)=r$ ， $\varSigma^+=\left[\begin{array}{c c c|c}\frac{1}{\sigma_1}&&&\\&\ddots&&\\&&\frac{1}{\sigma_r}&\\\hline&&&\begin{bmatrix}0\end{bmatrix}\end{array}\right]$ ，伪逆与原矩阵有个小区别：这是一个 $n\times m$ 矩阵。则有 $\varSigma\varSigma^+=\left[\begin{array}{c c c|c}1&&&\\&\ddots&&\\&&1&\\\hline&&&\begin{bmatrix}0\end{bmatrix}\end{array}\right]_{m\times m}$ ， $\varSigma^+\varSigma=\left[\begin{array}{c c c|c}1&&&\\&\ddots&&\\&&1&\\\hline&&&\begin{bmatrix}0\end{bmatrix}\end{array}\right]_{n\times n}$ 。

观察 $\varSigma\varSigma^+$ 和 $\varSigma^+\varSigma$ 不难发现， $\varSigma\varSigma^+$ 是将向量投影到列空间上的投影矩阵，而 $\varSigma^+\varSigma$ 是将向量投影到行空间上的投影矩阵。我们不论是左乘还是右乘伪逆，得到的不是单位矩阵，而是投影矩阵，该投影将向量带入比较好的空间（行空间和列空间，而不是左/零空间）。

接下来我们来求 $A$ 的伪逆：
$A + = V Σ + U T$ $A^+=V\varSigma^+U^T$

4. 总结

1.
$A是m×n$ ， $m$ 行 $n$ 列
1）矩阵可逆：
即两边逆， $AA^{ -1} = I = A ^{-1} A$ ，此时 $r=m=n$ ， $A$ 为方阵且满秩，零空间和左零空间都只有零
向量。

2）左逆( $m>n=rank(A)$ )：
当列满秩，列向量线性无关，行向量不一定， $r=n$ ，零空间只有零向量， $Ax=b$ 存在 0 个或 1 个解。 $A ^T A$ 是 $n×n$ 的对称矩阵，满秩， $A ^T A$ 是可逆的，称 $(A ^T A) ^{-1} A ^T$ 为 $A$ 的左逆，因为 $(A T A)^{ -1} A ^T *A=I$ 。这在最小二乘中至关重要，因为最小二乘以 $A ^T A$ 为系数矩阵（为什么统计学家喜欢这些？因为统计学家最喜欢用最小二乘），在列满秩的情况下， $A ^T A$ 可逆。此时 $[ (A ^T A) ^{-1} A ^T ]$ 为 $n×m$ ， $A为m×n$ ，得 $I$ 为 $n×n$ 。

3）右逆( $n>m=rank(A)$ )：
当行满秩，行向量线性无关， $r=m$ ， $A^ T$ 的零空间只含零向量， $Ax=b$ 有或无穷多个解，因为 $A*A^ T (AA ^T ) ^{-1} =I$ ，所以把 $A ^T (AA ^T ) ^{-1}$ 称为 A 的右逆。

4）伪逆( $rank(A)\lt min(m,\ n)$ )：
$r<m,r<n$ ，行空间和列空间的维数相同，都是 $r$ 维，行空间的任意向量 $x$ ，与 $A$ 相乘，得到恰好是列空间中的所有向量，行空间向量 $x$ 与列空间向量 $Ax$ 的关系是一一对应的。所有向量都能由行空间的分量和零空间的分量构成。

行空间中向量 $x$ 对应着列空间中的 $Ax$ （零空间中的 $x$ 乘以 $A$ 得零 $Ax=0$ ），行空间中向量 $y$ 对应着列空间中的 $Ay$ 。
但如果要从列空间得到行空间的向量呢，要得到行空间的向量，那么 $x=A ^+ (Ax)$ ， $A ^+$ 就是伪逆，伪逆把左零空间变为 $0$ ，即如果 $A^+$ 乘以左零空间的向量，结果为 $0$ 。

假设没有零空间的干扰，即假设零空间只有零向量，存在逆，那么行空间的向量 $x$ 得到列空间的向量 $Ax$ ，反过来，通过 $A$ 的逆就能从列空间得到行空间， $A ^{-1} (Ax)=x$ 。
$(A ^T A) ^{-1} A^ T *A=I$ ，如果将左逆写在右边将得不到单位矩阵了，那么 $A(A ^T A) ^{-1} A ^T$ 是在列空间投影的投影矩阵，它会尽量靠近单位矩阵，一个投影矩阵很想成为单位矩阵，但不可能做到。

2.求解伪逆（SVD分解）

第三十五讲：期末复习

依然是从以往的试题入手复习知识点。

1.
已知 $m\times n$ 矩阵 $A$ ，有 $Ax=\begin{bmatrix}1\\0\\0\end{bmatrix}$ 无解； $Ax=\begin{bmatrix}0\\1\\0\end{bmatrix}$ 仅有唯一解，求关于 $m,n,rank(A)$ 的信息。

首先，最容易判断的是 $m=3$ ；而根据第一个条件可知，矩阵不满秩，有 $r<m$ ；根据第二个条件可知，零空间仅有零向量，也就是矩阵消元后没有自由变量，列向量线性无关，所以有 $r=n$ 。

综上，有 $m=3>n=r$ 。

根据所求写出一个矩阵 $A$ 的特例： $A=\begin{bmatrix}0& 0\\1& 0\\0& 1\end{bmatrix}$ 。

$\det A^TA\stackrel{?}{=}\det AA^T$ ：不相等，因为 $A^TA$ 可逆而 $AA^T$ 不可逆，所以行列式不相等。（但是对于方阵， $\det AB=\det BA$ 恒成立。）

$A^TA$ 可逆吗？是，因为 $r=n$ ，矩阵列向量线性无关，即列满秩。
$AA^T$ 正定吗？否，因为 $AA^T$ 是 $3\times n$ 矩阵与 $n\times 3$ 矩阵之积，是一个三阶方阵，而 $AA^T$ 秩为 $2$ ，所以不是正定矩阵。（不过 $AA^T$ 一定是半正定矩阵。）

求证 $A^Ty=c$ 至少有一个解：因为 $A$ 的列向量线性无关，所以 $A^T$ 的行向量线性无关，消元后每行都有主元，且总有自由变量，所以零空间中有非零向量，零空间维数是 $m-r$ （可以直接从 $\dim N\left(A^T\right)=m-r$ 得到结论）。

2.
设 $A=\Bigg[v_1\ v_2\ v_3\Bigg]$ ，对于 $Ax=v_1-v_2+v_3$ ，求 $x$ 。

按列计算矩阵相乘，有 $x=\begin{bmatrix}1\\-1\\1\end{bmatrix}$ 。

若 $Ax=v_1-v_2+v_3=0$ ，则解是唯一的吗？为什么。如果解释唯一的，则零空间中只有零向量，而在此例中 $x=\begin{bmatrix}1\\-1\\1\end{bmatrix}$ 就在零空间中，所以解不唯一。
若 $v_1,v_2,v_3$ 是标准正交向量，那么怎样的线性组合 $c_1v_1+c_2v_2$ 能够最接近 $v_3$ ？此问是考察投影概念，由于是正交向量，所以只有 $0$ 向量最接近 $v_3$ 。

3.
矩阵 $A=\begin{bmatrix}.2& .4& .3\\.4& .2& .3\\.4& .4& .4\end{bmatrix}$ ，求稳态。

这是个马尔科夫矩阵，前两之和为第三列的两倍，奇异矩阵总有一个特征值为 $0$ ，而马尔科夫矩阵总有一个特征值为 $1$ ，剩下一个特征值从矩阵的迹得知为 $-.2$ 。

再看马尔科夫过程，设从 $u(0)$ 开始， $u_k=A^ku_0, u_0=\begin{bmatrix}0\\10\\0\end{bmatrix}$ 。先代入特征值 $\lambda_1=0,\ \lambda_2=1,\ \lambda_3=-.2$ 查看稳态 $u_k=c_1\lambda_1^kx_1+c_2\lambda_2^kx_2+c_3\lambda_3^kx_3$ ，当 $k\to\infty$ ，第一项与第三项都会消失，剩下 $u_\infty=c_2x_2$ 。

到这里我们只需求出 $\lambda_2$ 对应的特征向量即可，带入特征值求解 $(A-I)x=0$ ，有 $\begin{bmatrix}-.8& .4& .3\\.4& -.8& .3\\.4& .4& -.6\end{bmatrix}\begin{bmatrix}?\\?\\?\end{bmatrix}=\begin{bmatrix}0\\0\\0\end{bmatrix}$ ，可以消元得，也可以直接观察得到 $x_2=\begin{bmatrix}3\\3\\4\end{bmatrix}$ 。

剩下就是求 $c_2$ 了，可以通过 $u_0$ 一一解出每个系数，但是这就需要解出每一个特征值。另一种方法，我们可以通过马尔科夫矩阵的特性知道，对于马尔科夫过程的每一个 $u_k$ 都有其分量之和与初始值分量之和相等，所以对于 $x_2=\begin{bmatrix}3\\3\\4\end{bmatrix}$ ，有 $c_2=1$ 。所以最终结果是 $u_\infty=\begin{bmatrix}3\\3\\4\end{bmatrix}$ 。

4.
对于二阶方阵，回答以下问题：

求投影在直线 $a=\begin{bmatrix}4\\-3\end{bmatrix}$ 上的投影矩阵：应为 $P=\frac{aa^T}{a^Ta}$ 。

已知特征值 $\lambda_1=2,\ x_1=\begin{bmatrix}1\\2\end{bmatrix}\quad \lambda_2=3,\ x_2=\begin{bmatrix}2\\1\end{bmatrix}$ 求原矩阵 $A$ ：从对角化公式得 $A=S\Lambda S^{-1}=\begin{bmatrix}1& 2\\2& 1\end{bmatrix}\begin{bmatrix}0& 0\\0& 3\end{bmatrix}\begin{bmatrix}1& 2\\2& 1\end{bmatrix}^{-1}$ ，解之即可。

$A$ 是一个实矩阵，且对任意矩阵 $B$ ， $A$ 都不能分解成 $A=B^TB$ ，给出 $A$ 的一个例子：我们知道 $B^TB$ 是对称的，所以给出一个非对称矩阵即可。矩阵 $A$ 有正交的特征向量，但不是对称的，给出一个 $A$ 的例子：我们在三十三讲提到过，反对称矩阵，因为满足 $AA^T=A^TA$ 而同样具有正交的特征向量，所以有 $A=\begin{bmatrix}0& 1\\-1& 0\end{bmatrix}$ 或旋转矩阵 $\begin{bmatrix}\cos\theta& -\sin\theta\\\sin\theta& \cos\theta\end{bmatrix}$ ，这些矩阵都具有复数域上的正交特征向量组。

5.最小二乘问题，因为时间的关系直接写出计算式和答案， $\begin{bmatrix}1& 0\\1& 1\\1& 2\end{bmatrix}\begin{bmatrix}C\\D\end{bmatrix}=\begin{bmatrix}3\\4\\1\end{bmatrix}(Ax=b)$ ，解得 $\begin{bmatrix}\hat C\\\hat D\end{bmatrix}=\begin{bmatrix}\frac{11}{3}\\-1\end{bmatrix}$ 。

求投影后的向量 $p$ ：向量 $p$ 就是向量 $b$ 在矩阵 $A$ 列空间中的投影，所以 $p=\begin{bmatrix}p_1\\p_2\\p_3\end{bmatrix}=\begin{bmatrix}1& 0\\1& 1\\1& 2\end{bmatrix}\begin{bmatrix}\hat C\\\hat D\end{bmatrix}$ 。

求拟合直线的图像： $x=0,1,2$ 时 $y=p_1,p_2,p_2$ 所在的直线的图像， $y=\hat C+\hat Dx$ 即 $y=\frac{11}{3}-x$ 。
这里写图片描述

接上面的题目

求一个向量 $b$ 使得最小二乘求得的 $\begin{bmatrix}\hat C\\\hat D\end{bmatrix}=\begin{bmatrix}0\\0\end{bmatrix}$ ：我们知道最小二乘求出的向量 $\begin{bmatrix}\hat C\\\hat D\end{bmatrix}$ 使得 $A$ 列向量的线性组合最接近 $b$ 向量（即 $b$ 在 $A$ 列空间中的投影），如果这个线性组合为 $0$ 向量（即投影为 $0$ ），则 $b$ 向量与 $A$ 的列空间正交，所以可以取 $b=\begin{bmatrix}1\\-2\\1\end{bmatrix}$ 同时正交于的两个列向量。