抄书——最优化的理论与方法（2）——数学基础（矩阵求逆和广义逆）

定理1.2.3 （von Neumann引理）
设 $E\in {\mathbb{R}}^{n\times n},I\in {\mathbb{R}}^{n\times n}$ 是单位矩阵， $\Vert \cdot \Vert$ 是满足 $\Vert \cdot \Vert =1$ （对于诱导矩阵范数，我们总有$\Vert I\Vert =1$）的相容矩阵范数（诱导 p-范数和 Frobenius范数满足相容性条件，而Frobenius范数不满足$\Vert \cdot \Vert =1$条件）。如果 $\Vert E\Vert <1$，则 $(I-E)$ 是非奇异矩阵（即，满秩，对应的行列式不为0），且：
$$\begin{gathered} (I-E{)}^{-1}=\sum _{k=0}^{\infty }{E}^k(1.2.19a) \\ . \\ \Vert (I-E{)}^{-1}\Vert \le \frac{1}{1-\Vert E\Vert }(1.2.19b) \end{gathered}$$
证明：
因为$\Vert E\Vert <1$，故：
$$S_k=I+E+E^2+\cdots +E^k$$
定义一个Cauchy序列，因而收敛，即：
$$\sum _{k=0}^{\infty }{E}^k=\underset{k\to \infty }{\lim }{S}_k=(I-E{)}^{-1}$$
又：
$$\Vert (I-E{)}^{-1}\Vert =\left|\left|\sum _{k=0}^{\infty }{E}^k\right|\right|\le \sum _{k=0}^{\infty }\Vert E^k\Vert \le \sum _{k=0}^{\infty }\Vert E{\Vert }^k=\frac{1}{1-\Vert E\Vert }$$
证毕。
由von Neumann引理有：
如果 A 非奇异，$\Vert A^{-1}(B-A)\Vert <1$，则B非奇异，且：
$$\begin{gathered} B^{-1}=\sum _{k=0}^{\infty }(I-A^{-1}B{)}^k{A}^{-1}(1.2.20) \\ \Vert B^{-1}\Vert \le \frac{\Vert A^{-1}\Vert }{1-\Vert A^{-1}(B-A)\Vert }(1.2.21) \end{gathered}$$
这个定理表明，若B充分接近于一个可逆矩阵A，则B也可逆，上述定理也可以表示成以下形式：
定理 1.2.3‘：
设 $A,B\in {\mathbb{R}}^{n\times n}$，$A$ 可逆，$A^{-1}\le \alpha$，如果 $\Vert A-B\Vert \le \beta ,\alpha \beta <1$，则 $B$ 可逆，且：
$$\Vert B^{-1}\Vert \le \frac{\alpha }{1-\alpha \beta }$$

---

设 $L$ 和 $M$ 是 $R^n$ 的子空间，若 $R^n$ 可称为 $L$ 和 $M$ 的直和（表示为：$R^n=L\oplus M$），当且仅当：

1. $R^n=L+M$
2. L∩M={0}L\cap M=\{0\}L∩M={0}
   设 $R^n=L\oplus M$，如果线性算子 $P:R^n\to R^n$ 满足
   $$\begin{gathered} Py=y,\forall y\in L, \\ Pz=0,\forall z\in M \end{gathered}$$

则称 $P$ 是从 $R^n$ 沿子空间 $M$ 到子空间 $L$ 上的投影算子，记作 $P_{L,M}$ 或 $P$。
如果 $M=L^{\perp }$，则上述投影算子称为直交投影算子，记为 $P_L$ 或 $P$。

---

设 $C^{m\times n}$ 是所有复 $m\times n$ 组成的集合，$A^{\ast }$ 表示 $A$ 的共轭转置。
设 $A\in C^{m\times n}$，则 $A$ 的 Moore-Penrose 广义逆定义为 $A^{+}\in C^{n\times m}$，它满足：
$$A{A}^{+}A=A,A^{+}A{A}^{+}=A^{+},(A{A}^{+}{)}^{\ast }=A{A}^{+},(A^{+}A{)}^{\ast }=A^{+}A(1.2.22)$$
如果 $A\in C_r^{m\times n}$ 的直交分解是：
$$A=Q^{\ast }RP(1.2.24)$$
其中，$Q$ 和 $P$ 分别是 $m\times m$ 和 $n\times n$ 酉矩阵。所谓“酉矩阵”，是指n阶复方阵U的n个列向量是U空间上的一个标准正交基，则U是酉矩阵（Unitary Matrix），它是正交矩阵在复数域的推广。
上式的R，有 $R\in C^{m\times n}$，
$$R=\left[\begin{array}{cc}{R}_{11}& 0\\ 0& 0\end{array}\right]$$
其中，$R_{11}$ 是 $r\times r$ 非奇异上三角矩阵，于是，
$$A^{+}=P^{\ast }{R}^{+}Q$$
其中：
$$R^{+}=\left[\begin{array}{cc}{R}_{11}^{-1}& 0\\ 0& 0\end{array}\right]$$
类似的，如果 $A\in C_r^{m\times n}$ 的奇异值分解是：
$$A=UD{V}^{\ast }(1.2.26)$$
其中，$U$ 和 $V$ 分别是 $m\times m$ 和 $n\times n$ 酉矩阵，
$$D=\left[\begin{array}{cc}\Sigma & 0\\ 0& 0\end{array}\right]\in C^{m\times n}$$
其中，$\Sigma =diag({\sigma }_1,\cdots ,{\sigma }_r)$，${\sigma }_i>0$ 是 $A$ 的非零奇异值，则：
$$A^{+}=V{D}^{+}{U}^{\ast }(1.2.26)$$
其中，
$$D^{+}=\left[\begin{array}{cc}{\Sigma }^{-1}& 0\\ 0& 0\end{array}\right]\in C^{m\times n}$$

由此看来，奇异值分解是正交分解的一个特例。