矩阵论笔记（十）——广义逆矩阵

当 $A$ 满秩时，方程 $Ax = b$ 的解为 $x = A^{-1}b$。但当 $A$ 不满秩，甚至方程 $Ax = b$ 无解时，我们也希望用某种逆 $A^\dagger$ 的形式表示方程的（近似）解 $x = A^\dagger b$。这便是广义逆的作用。

0 投影变换与投影矩阵

投影矩阵的求法：

（1）$M\rightarrow M$：$P\{L,M\} [X|Y] = [X|O] \Rightarrow P_{L,M} = [X|O] [X|Y]^{-1}$；
（2）$L^{\perp} \rightarrow L$：$P_L = [X|O] [X|Y]^{-1}$
$= [X|O] [[X|Y]^H[X|Y]]^{-1} [X|Y]^H$
$= [X|O] \begin{bmatrix} (X^HX)^{-1} & O \\\\ O & (Y^HY)^{-1} \end{bmatrix} \begin{bmatrix} X^H \\\\ Y^H \end{bmatrix}$
$= X(X^H X)^{-1} X^H$.

1 存在、性质、构造

若 $A\in C^{m\times n}$，则 $A$ 的任意一种伪逆尺寸为 $X \in C^{n\times m}$。

定义

Moore-Penrose 逆 $A^{+}$ 的四个等价定义：

（1）定义一：Penrose 方程 (i) $AXA = A$；(ii) $XAX = X$；(iii) $(AX)^H = AX$；(iv) $(XA)^H = XA$；
（2）定义二：$AX = P_{R(A)},\ XA = P_{R(X)}$，其中 $P_L$ 是子空间 $L$ 上的正交投影矩阵；
（3）定义三：$AXA = A,\ X = A^H U,\ X = VA^H$，其中 $U,\ V$ 是适当阶的复矩阵；
（4）定义四：$AXA = A,\ X = A^H Z A^H$，其中 $Z$ 是与 $A$ 同阶的复矩阵。

满足部分 Penrose 条件的广义逆及其构造：

（1）$A\{i,j,\cdots,l\}$：满足 Penrose 方程中的 $(i), (j), (k), (l)$ 方程称为 $\{i,j,\cdots,l\}$-逆，记为 $A^{(i,j,\cdots,l)}$，全体记为 $A\{i,j,\cdots,l\}$；
（2）$A\{1,2\}$：设 $Y,Z\in A\{1\}$，令 $X = YAZ$，则 $X\in A\{1,2\}$，也称为自反广义逆；
（3）$A\{1,2,3\}$：$Y = (A^H A)^{(1)} A^H \in A\{1,2,3\}$；
（4）$A\{1,2,4\}$：$Z = A^H (AA^H)^{(1)} \in A\{1,2,4\}$；
（5）$A\{1,2,3,4\}$：$A^\dagger = A^{(1,4)} A A^{(1,3)}$；
（6）$\lambda^\dagger$：当 $\lambda \neq 0$ 时，$\lambda^\dagger = \lambda^{-1}$，否则为 0。

定理

（1）定理一：对任意 $A\in C^{m\times n}$，$A^{+}$ 存在且唯一；
（2）定理二：$A^{(1)}$ 唯一的充要条件是 $A$ 为非奇异矩阵；
（3）定理三：若 $X\in A\{1\}$，则 $X\in A\{1,2\}$ 的充要条件是 $\text{rank} X = \text{rank} A$；
（4）定理四：对任意 $A$，有 $\text{rank} (A^HA) = \text{rank} A = \text{rank} (AA^H)$；
（5）推论一：若 $A\in C_n^{m\times n}$（列满秩），则 $A^\dagger = (A^HA)^{-1} A^H$；若 $A\in C_m^{m\times n}$（行满秩），则 $A^\dagger = A^H(AA^H)^{-1}$；
（6）推论二：若 $\alpha \neq 0$，则 $\alpha^\dagger = (\alpha^H \alpha)^{-1} \alpha^H$。

性质

$\{1\}$-逆的八条性质：

（1）$(A^{(1)})^H \in A^H\{1\}$；
（2）$\lambda^\dagger A^{(1)} \in (\lambda A)\{1\}$；
（3）若 $S,T$ 非奇异，则 $T^{-1} A^{(1)} S^{-1} \in (SAT)\{1\}$；
（4）$\text{rank} A^{(1)} \geq \text{rank} A$；
（5）$AA^{(1)}$ 和 $A^{(1)}A$ 均为幂等矩阵且与 $A$ 同秩；
（6）$R(AA^{(1)}) = R(A),\ N(A^{(1)}A) = N(A),\ R((A^{(1)})^H) = R(A^H)$；
（7）$A^{(1)} A = I_n$ 的充要条件是 $\text{rank} A = n$，$AA^{(1)} = I_m$ 的充要条件是 $\text{rank}A = m$；
（8）$AB(AB)^{(1)}A = A$ 的充要条件是 $\text{rank}(AB) = \text{rank}A$，$B(AB)^{(1)} AB = B$ 的充要条件是 $\text{rank}(AB) = \text{rank} B$。

Moore Penrose 逆 $A^\dagger$ 的六条性质：

（1）$\text{rank} A^\dagger = \text{rank} A$；
（2）$(A^\dagger)^\dagger = A$；
（3）$(A^H)^\dagger = (A^\dagger)^H$，$(A^T)^\dagger = (A^\dagger)^T$；
（4）$(A^H A)^\dagger = A^\dagger (A^H)^\dagger$，$(AA^H)^{+} = (A^H)^\dagger A^\dagger$；
（5）$A^\dagger = (A^H A)^\dagger A^H = A^H (AA^H)^\dagger$；
（6）$R(A^\dagger) = R(A^H)$，$N(A^\dagger) = N(A^H)$。

证明

（1）证明定理一：[存在性]奇异值分解，并令 $X = V\begin{bmatrix}\Sigma^{-1} & O \\\\ O & O \end{bmatrix} U^H$；[唯一性]用共轭转置和展开构造 $AXA$ 以消除 $X$，证 $X = XAX = YAY = Y$；
（2）证明定理二：把 $x\in N(A)$ 加到 $X$ 的任意一列上，或把 $x\in N(A^H)$ 的共轭转置加到 $X$ 的任意一行上，$AXA$ 不变，因此，假如唯一则有 $N(A) = \{0\},\ N(A^H) = \{0\}$；
（3）证明定理三：$R(XA)\subset R(X)$，$\text{rank}(XA) = \text{rank} A = \text{rank} X$，因此 $R(XA) = R(X)$，则存在 $Y$ 使 $XAY = X$，于是 $XAX = XA(XAY) = XAY = X$；
（4）证明定理四：由 $Ax=0$ 有 $A^HAx = 0$，由 $A^HAx = 0$ 有 $x^H A^H A x = 0$，于是 $Ax = 0$，即 $N(A) = N(A^HA)$；
（5）证明 $A^\dagger$ 性质（6）：$R(A^\dagger) = R(A^\dagger AA^\dagger) = R(A^H(A^\dagger)A^HA^\dagger) \subset R(A^H)$，$N(A^\dagger) = N(A^\dagger AA^\dagger) = N(A^\dagger(A^\dagger)^HA^H) \supset N(A^H)$。

构造

由 $\{1\}$-逆可以很容易构造出其他的广义逆。

（1）$Y,Z\in A\{1\}$，则 $X = YAZ\in A\{1,2\}$；
（2）$Y = (A^H A)^{(1)} A^H \in A\{1,2,3\}$；
（3）$Z = A^H (A A^H)^{(1)} \in A\{1,2,4\}$；
（4）$A^\dagger = A^{(1,4)} A A^{(1,3)}$。

2 计算

$\{1\}$-逆

步骤：

（1）初等行变换：$[A | I] \rightarrow^{r} [B | Q]$，其中 $B$ 为 Hermite 标准形，则 $QA = B$；
（2）置换矩阵：构造 $P = [e_{j_1},\cdots,e_{j_n}]$，使 $QAP = \begin{bmatrix} I_r & K \\\\ O & O \end{bmatrix}$；
（3）计算 $A\{1\}$：$X = P \begin{bmatrix} I_r & O \\\\ O & L \end{bmatrix} Q$，其中 $L \in C^{(n-r) \times (m-r)}$ 为任意矩阵。

$\{1,2\}$-逆

（1）方法一：求 $\{1\}$-逆 $X = P \begin{bmatrix} I_r & O \\\\ O & L \end{bmatrix} Q$ 后，令 $L = 0$ 即得 $A^{(2)}$；
（2）方法二：设 $Y,Z\in A\{1\}$，则 $X = YAZ \in A\{1,2\}$；
（3）方法三：满秩分解，然后 $G^{(i)} F^{(1)} \in A\{i\},\ G^{(1)} F^{(i)} \in A\{i\}$。

$\{1,3\}$-逆

用公式 $Y = (A^H A)^{(1)} A^H \in A\{1,2,3\}$。

$\{1,4\}$-逆

用公式 $Z = A^H (A A^H)^{(1)} \in A\{1,2,4\}$。

Moore-Penrose 逆

（1）方法一：满秩分解 $A = FG$，则 $A^\dagger = G^\dagger F^\dagger = G^H (GG^H)^{-1} (F^HF)^{-1} F^H$；
（2）方法二：奇异值分解 $A = UDV^H = U_1 \Sigma V_1^H$，则 $A^\dagger = V_1 \Sigma^{-1} U_1^H$；
（3）方法三：用公式 $A^\dagger = A^{(1,4)} A A^{(1,3)}$。

满秩分解与广义逆的关系

（1）$G^{(i)}F^{(1)} \in A\{i\}\ (i=1,2,4)$；
（2）$G^{(1)}F^{(i)} \in A\{i\}\ (i=1,2,3)$；
（3）$G^{(1)}F^\dagger \in A\{1,2,3\},\ G^\dagger F^{(1)} \in A\{1,2,4\}$；
（4）$A^\dagger = G^\dagger F^{(1,3)} = G^{1,4} F^\dagger$；
（5）$A^\dagger = G^\dagger F^\dagger = G^H(G G^H)^{-1} (F^HF)^{-1}F^H = G^H (F^HAG^H)^{-1}F^H$。

3 广义逆矩阵与线性方程组的求解

方程组 $Ax = b$ 的解

先要判断相容性（即是否有解）：① 用充要条件 $AA^{(1)}b = b$ 或者 ② 用 $\text{rank}A = \text{rank}(A|b)$。

（1）相容-通解：$x = A^{(1)} b + (I - A^{(1)} A) y$；
（2）相容-极小范数解：$x = A^{(1,4)} b$（唯一）；
（3）矛盾-最小二乘解：$x = A^{(1,3)} b$；
（4）矛盾-极小范数最小二乘解：$x = A^\dagger b$（唯一）；
（5）矩阵方程-极小范数最小二乘解：$AXB = D$ 的极小范数最小二乘解为 $X = A^\dagger D B^\dagger$。

相容时，（1）和（3）的解一致，（2）和（4）的解一致。

所以求解方程组的步骤为：① 判断相容性；② 求解相应的广义矩阵逆通式；③ $x = A^{(i,\cdots,l)}b$。

广义逆通式

（1）$A\{1\} = \{ A^{(1)} + Z - A^{(1)}AZAA^{(1)}\ |\ Z\in C^{n\times m} \}$；
（2）$A\{1,4\} = \{ A^{(1,4)} + Z(I - AA^{(1,4)})\ |\ Z\in C^{n\times m} \}$；
（3）$A\{1,3\} = \{ A^{(1,3)} + (I - A^{(1,3)} A)Z\ |\ Z\in C^{n\times m} \}$。

以上均可由下面的定理一推得。

定理

（1）定理一：$AXB = D$ 相容的充要条件是 $AA^{(1)}DB^{(1)}B = D$，通解为 $X = A^{(1)}DB^{(1)} + Y - A^{(1)}AYBB^{(1)}$；
（2）定理二：$Ax = b$ 相容的充要条件是 $AA^{(1)}b = b$，通解为 $x = A^{(1)}b + (I - A^{(1)}A)y$；
（3）定理三：若对所有 $b\in R(A)$，$x = Xb$ 都是其解，则 $X\in A\{1\}$；
（4）定理四：若对所有 $b\in R(A)$，$x = Xb$ 都是极小范数解，则 $X\in A\{1,4\}$；
（5）定理五：若对所有 $b\in C^m$，$x = Xb$ 都是最小二乘解，则 $X\in A\{1,3\}$；
（6）定理六：若对所有 $b\in C^m$，$x = Xb$ 都是极小范数最小二乘解，则 $X = A^\dagger$；
（7）推论：$x$ 是 $Ax = b$ 的最小二乘解的充要条件是 $x$ 为 $A^H A x = A^H b$（法方程组/正规方程组）的解。

通解，往往是“特解 + 齐次方程组通解”的形式。

引理

（1）引理一：相容方程组的极小范数解唯一，且在 $R(A^H)$ 中；
（2）引理二：集合 $A\{1,4\}$ 由 $XA = A^{(1,4)} A$ 的所有解 $X$ 组成（$XA$ 是个不变量）；
（2）引理二：集合 $A\{1,3\}$ 由 $AX = AA^{(1,3)}$ 的所有解 $X$ 组成（$AX$ 是个不变量）；

证明

（1）证明定理一：$D = AXB = AA^{(1)} AXB B^{(1)}B = AA^{(1)}DB^{(1)}B$，反之 $X = A^{(1)}DB^{(1)}$ 显然是解；
（2）证明定理三：令 $b = a_i \in R(A)$，则 $x = Xa_i$ 是 $Ax = b$ 的解，得 $AXa_i = a_i$，即 $AXA = A$；
（3）证明定理五：需证 ① $\|Ax - b\|^2 = \|Ax - P_{R(A)}b\|^2 + \|P_{R(A)}b - b\|^2$；② 极小值的条件是 $Ax = P_{R(A)}b$；③ $AA^{(1,3)} = P_{R(A)}b$；
（4）证明定理六：由证明（3）得，最小二乘解是 $Ax = P_{R(A)}b = AA^{(1,3)}b$ 的（一般）解，则极小范数解为 $x = A^{(1,4)} A A^{(1,3)}b = A^\dagger b$；
（5）证明推论：由 ① $b = P_{R(A)}b + (I - P_{R(A)})b = P_{R(A)}b + P_{N(A^H)}b$，② 最小二乘解为 $Ax = P_{R(A)} b$ 的解，可得，$Ax - b = -P_{N(A^H)}b \in N(A^H)$，所以 $A^H(Ax - b) = 0$；
（6）证明 $P_{R(A)} = AA^{(1,3)}$：$R(AA^{(1,3)}) = R(A)$, $N(AA^{(1,3)} = N((AA^{(1,3)})^H) = N((A^{(1,3)})^H A^H) = N(A^H) = R^{perp}(A)$，因此 $AA^{(1,3)} = P_{R(A)}$。

理解

（1）最小二乘解，就是要让 $b$ 在 $A$ 上的投影被抵消掉，只剩下残余，亦即求 $Ax = P_{R(A)} b$ 的一般解（$b - Ax \perp \{Ax|x\in R^n\} \Rightarrow (Ax)^T (b - Ax) = 0 \Rightarrow A^T Ax = A^T b$）；
（2）投影矩阵，有时间再研究一下。

主要题型

（1）计算广义逆 $A^{(1)}, A^{(1,2)}, A^{(1,3)}, A^{(1,4)}, A^\dagger$；
（2）计算方程组的通解、极小范数解、最小二乘解、极小范数最小二乘解；
（3）利用 $A^\dagger$ 的运算规律进行计算或证明；
（4）幂等矩阵与特征值相关计算或证明；
（5）借助奇异值分解、满秩分解、QR 分解相关计算或证明。