矩阵论笔记（八）——矩阵分解

主要包括以下几种分解：

• LU 分解（三角分解）
• QR 分解（正交三角分解）
• 满秩分解
• SVD 分解（奇异值分解）

分别简介如下：

• LU 分解

  • 简介：把方阵分解为下三角矩阵与上三角矩阵的乘积 $A = LU$；
  • 条件：$A$ 的前 $1\sim n-1$ 阶顺序主子式非零，则存在唯一分解 $A = LDU$；
  • 算法：① Gauss 消元法，② Crout 分解，③ Doolittle 分解；
  • 推论：实对称正定矩阵有 Cholesky 分解 $A = GG^T$（$A = LDU = L\tilde{D}^2U$，由 $A^T = A$ 得 $L = U^T, U = L^T$）；
  • 唯一性：唯一。

• QR 分解

  • 简介：把方阵分解为酉矩阵与上三角矩阵的乘积 $A = QR$；
  • 条件：$A$ 为实/复非奇异矩阵；
  • 算法：① Schmidt 正交化；② Givens 变换；③ Householder 变换；
  • 唯一性：除去相差一个对角元素的绝对值（模）全为 1 的对角阵外，分解式唯一；
  • 推广：若 $A\in C^{m\times n}_n$ 的 $n$ 个列线性无关，则有分解 $A = QR$ 满足 $Q \in C^{m\times n}$, $Q^HQ = I$，$R$ 是 $n$ 阶非奇异上三角矩阵，且除去模 1 对角阵外，该分解式唯一。

• 满秩分解

  • 简介：把任意非零矩阵分解为列满秩矩阵与行满秩矩阵的乘积 $A = FG$；
  • 条件：任意非零矩阵 $A \in C_r^{m\times n}\ (r > 0)$；
  • 算法：① 初等行变换+初等阵求逆；② 初等行变换为 Hermite 标准形+列置换矩阵；
  • 唯一性：不唯一。

• SVD 分解

  • 简介：把任意非零矩阵分解为 $A = UDV$ 的形式，其中 $U,V$ 为 $m$ 阶和 $n$ 阶酉矩阵，$D = \begin{bmatrix} \Sigma & O \\\\ O & O \end{bmatrix}$，其中 $\Sigma = \text{diag}(\sigma_1,\cdots,\sigma_r)$，而 $\sigma_i$ 是 $A$ 的全部非零奇异值；
  • 条件：任意非零矩阵；
  • 算法：步骤 ① 对 $A^HA$ 求谱分解得 $V, \Sigma^2$，② $U_1 = AV_1\Sigma^{-1}$，③ 构造 $U_2$（解方程 $U_1 x = 0$）；
  • 唯一性：不唯一。

以下详细讲解。

1 LU 分解

求解线性方程组时，用初等行变换把系数化为上三角形式，这个过程可以用矩阵表示出来。

定理

（1）定理一：设 $A$ 是 $n$ 阶矩阵，当且仅当（充要条件）$A$ 的顺序主子式 $\Delta_k \neq 0,\ k=1,\cdots,n-1$ 时，$A$ 可唯一地被分解为 $A = LDU$，其中 $L, U$ 分别是单位下三角阵和单位上三角阵（对角元素为 1），$D = \text{diag}(d_1,\cdots,d_n)$，$d_k = \frac{\Delta_{k}}{\Delta_{k-1}}$；
（2）推论一：$n$ 阶非奇异矩阵 $A$ 有三角分解 $A = LU$ 的充要条件是其顺序主子式 $\Delta_k \neq 0,\ k=1,\cdots,n-1$；
（3）定理二：对任意非奇异矩阵 $A$，存在置换矩阵 $P$ 使 $PA$ 的 $n$ 个顺序主子式非零；
（4）推论二：对非奇异矩阵 $A$，存在置换矩阵 $P$ 使 $PA = L\hat{U} = LDU$（三角分解）。

算法

（1）初等变换法：$[A|I] \rightarrow^r [U|P]$, $[P|I] = [I|P^{-1}]$，并令 $L = P^{-1}$，注意初等变换时要保持 $P$ 为下三角阵。

（2）Gauss 消元法：
   ① 用倍加初等阵 $L_1^{-1}$ 左乘 $A$ 化其第一列为只有第一个元素非零；
   ② 用 $L_2^{-1}$ 左乘 $A^{(1)}$ 化其第二列为只有前两个元素非零；
   ③ 继续直至 $A$ 被化为上三角阵；
   ④ 令 $L = L_1\cdots L_{n-1}$，则 $A = LU$。

（3）Crout 分解：$A = (LD)U = \hat{L}U$，其中 $U$ 为单位上三角阵，则：
   ① 计算 $\hat{L}$ 第一列：$l_{i1} = a_{i1}$；
   ② 计算 $U$ 第一行：$u_{1j} = \frac{a_{1j}}{l_{11}}$；
   ③ 计算 $\hat{L}$ 第二列：$l_{ik} = a_{ik} - (l_{i1}u_{1k} + \cdots + l_{i,k-1}u_{k-1}k)$；
   ④ 计算 $U$ 第二行：$u_{kj} = \frac{1}{l_{kk}} [a_{kj} - (l_{k1}u_{1j} + \cdots + l_{k,k-1}u_{k-1,j})]$；
   ⑤ 继续下去，直到全部未知量计算完毕。

（4）Doolittle 分解：$A = L(DU) = L\hat{U}$，其中 $L$ 为单位下三角阵。完全与 Crout 类似，有：
   ① $u_{ik} = a_{ik} - \sum_{r=1}^{i-1} l_{ir}u_{rk}$；
   ② $l_{ki} = \frac{1}{u_{ii}}(a_{ki} - \sum_{r=1}^{i-1} l_{kr}u_{ri})$。

（5）Cholesky 分解：对实对称正定矩阵有 $A = LDU = L\tilde{D}^2U = GG^T$，其中 $G = L\tilde{D}$ 是下三角矩阵。由对应关系可得：
   ① $a_{ij} = g_{i1}g_{j1} + \cdots + g_{ij} g_{jj}\ (i > j)$；
   ② $a_{ii} = g_{i1}^2 + \cdots + g_{ii}^2$；
   ③ 于是有递推公式：
      $g_{ij} = \begin{cases} (a_{ii} - \sum_{k=1}^{i-1} g_{ik}^2)^{1/2} & (i=j) \\\\\\ \frac{1}{g_{jj}}(a_{ij} - \sum_{k=1}^{j-1} g_{ik} g_{jk} ) & (i > j) \\\\\\ 0 & (i < j) \end{cases}$
      例如三阶矩阵的计算顺序为：$g_{11},g_{21},g_{22},g_{31},g_{32},g_{33}$。

结论

（1）求解方程组：若方程组 $Ax = b$ 的 $A$ 非奇异且 $\Delta_k \neq 0$，则存在三角分解 $A = LU$，于是便得通解两个方程组为 $Ly = b,\ Ux = y$。

2 QR 分解

将矩阵分解为正交矩阵与上三角矩阵的积，也可以看成是 Schmidt 正交化的矩阵表示。经常用于线性最小二乘问题求解。

Givens 变换

• 定义：

（1）Givens 变换（初等旋转变换，在 $(e_i,e_j$ 平面内顺时针旋转 $\theta$ 角度）、Givens 矩阵（初等旋转矩阵 $T_{ij}(c,s)$，在 $e_i,e_j$ 行列的值为 $[c,s; -s,c]$，其余行列同 $I$）。

• 性质：

（1）正交阵：$[T_{ij}(c,s)]^{-1} = T_{ij}(c,s)^T = T_{ij}(c,-s)$；
（2）坐标的变化：$\eta_i = c\xi_i + s\xi_j,\ \eta_j = -s\xi_i + c\xi_j$。

• 定理：

（1）旋转到 $e_1$：存在有限个 Givens 矩阵的乘积，记为 $T$，使 $Tx = |x|e_1$；
（2）旋转到 $z$：存在有限个 Givens 矩阵的乘积，记为 $T$，使 $Tx = |x|z$，其中 $z$ 为任意单位向量。

• 计算：

（1）旋转到 0：取 $c = \frac{\xi_i}{\sqrt{\xi_i^2 + \xi_j^2}}$, $s = \frac{\xi_j}{\sqrt{\xi_i^2 + \xi_j^2}}$，就可使 $\eta_i = \sqrt{\xi_i^2 + \xi_j^2}$, $\eta_j = 0$；
（2）旋转到 $e_1$：分别用 $T_{12},T_{13},\cdots,T_{1n}$ 把 $\eta_2 \sim \eta_n$ 旋转到 0，于是 $\eta_1 = \sqrt{\xi_1^2 + \cdots + \xi_n^2} = |x|$；
（3）旋转到任意单位向量 $z$：分别用 $T_1,T_2$ 把 $x,z$ 旋转到 $e_1$，则 $T_2^{-1}T_1$ 可把 $x$ 旋转到 $z$。

Householder 变换

• 定义：

（1）Householder 变换（初等反射变换，把 $x$ 映射到以 $u$ 为法向量的超平面对面）、Householder 矩阵（$H = I - 2uu^T$）。

• 性质：

（1）对称矩阵：$H^T = H$；
（2）正交矩阵：$H^T H = I$；
（3）对合矩阵：$H^2 = I$；
（4）自逆矩阵：$H^{-1} = H$；
（5）$\text{det}H = -1$（证：用到 $\text{det}(I_m + AB) = \text{det}(I_n + BA)$）。

• 定理：

（1）反射到 $z$：存在 Householder 矩阵 $H$ 使得 $Hx = |x| z$，其中 $z$ 为任意单位向量；
（2）与 Givens 矩阵的关系：初等旋转矩阵是两个初等反射矩阵的乘积（注意反过来不成立，因为 $\text{det} T_{ij} = 1$ 而 $\text{det} H = -1$）。

• 计算：

（1）反射到 $z$：$z$ 为单位列向量，要使 $Hx = |x|z$，取 $u = \frac{x - |x|z}{|x - |x|z|}$（证：$(I - 2uu^T)x = |x|z$，则 $u(2u^Tx) = x - |x|z$，即 $u = k (x - |x|z)$，归一化即得）。

QR 分解

• 定义：

（1）QR 分解（正交三角分解，针对非奇异矩阵，分解为正交阵乘以上三角阵，$A = QR$）。

• 定理：

（1）唯一性：除去相差一个对角元素绝对值（模）全 1 的对角阵外，QR 分解式是唯一的；
（2）推广：$A$ 是 $m\times n$ 复矩阵，且其 $n$ 个列向量线性无关，则有分解 $A = QR$，$Q^HQ = I$，除去模 1 对角阵，唯一；
（3）Givens：任何 $n$ 阶非奇异阵 $A$ 可通过左连乘初等旋转矩阵化为非奇异上三角阵；
（4）Householder：任何 $n$ 阶非奇异阵 $A$ 可通过左连乘初等反射矩阵化为非奇异上三角阵。

• 计算：

三种方法：① Schmidt 正交化，② Givens 变换，③ Householder 变换。

（1）Schmidt 正交化方法：把 $A$ 标准正交化得到 $Q$，则 ① $R = Q^T A$ 或者 ② 把 $a_i$ 用 $q_i$ 表示，系数组成 $R$；
（2）Givens 方法：用 $T_1$ 把 $A$ 第一列变成 $e_1$，用 $T_2$ 把 $A$ 除首行首列的子矩阵第一列变成 $e_1$，依次类推，则 $T = \text{diag}(I_{n-2}, T_{n-1})\cdots \text{diag}(1,T_2)T_1$（$R = TA$, $Q = T^{-1} = T^T$）；
（3）Householder 方法：同 Givens，用 $H_1$ 把 $A$ 第一列变成 $e_1$，用 $H_2$ 把 $A$ 除首行首列的子矩阵第一列变成 $e_1$，依次类推，则 $S = \text{diag}(I_{n-2}, H_{n-1})\cdots \text{diag}(1,H_2)T_1$（$R = SA$, $Q = S^{-1} = S^T$）。

满秩分解

• 定义

（1）满秩分解：任意非零 $A\in C_r^{m\times n}$，若存在 $F\in C_r^{m\times r},\ G\in C_r^{r\times n}$ 使得 $A = FG$，则称该式为 $A$ 的满秩分解（列满秩 x 行满秩）；
（2）平凡分解：当 $A$ 满秩时，可取一个因子为 $I$，另一个为 $A$ 本身，该满秩分解称为平凡分解；
（3）Hermite 标准形：$B\in C_r^{m\times n}$ 为阶梯形，非零行第一个元素为 1，且第一个元素所在列的其他元素为 0，则称 $B$ 为 Hermite 标准形；
（4）置换矩阵：$P = (e_{j_1}, \cdots, e_{j_n})$，其中 $j_1,\cdots,j_n$ 是 $1,\cdots,n$ 的一个排列。

• 定理

（1）定理一：任意非零 $A\in C_r^{m\times n}\ (r>0)$ 存在满秩分解 $A = FG$，其中 $F\in C_r^{m\times r}, G\in C_r{r\times n}$；
（2）定理二：设 $A$（初等行变换后）的 Hermite 标准形为 $B$，则满秩分解中，可取 $F$ 为 $A$ 的 $j_1,\cdots,j_r$ 列构成的矩阵，$G$ 为 $B$ 的前 $r$ 行构成的矩阵。

• 证明

（1）证明定理二：① 构建置换矩阵 $P_1$ 使 $BP_1 = \begin{bmatrix} I_r & B_{12} \\\\ O & O \end{bmatrix}$，② $AP_1 = P^{-1}(BP_1) = [F| S] \begin{bmatrix} I_r & B_{12} \\\\ O & O \end{bmatrix}$ $= [F | FB_{12}]$，③ 由上式知 $F$ 为 $AP_1$ 的前 $r$ 列构成的矩阵，亦即 $A$ 的 $j_1,\cdots,j_r$ 列构成的矩阵。

• 算法

（1）初等行变换：① $[A|I] \rightarrow^r [B|P]$，则 $PA = B$，② $[P|I] \rightarrow^r [I|P^{-1}]$，③ $A = P^{-1}B =^{\text{分块}} FG$；
（2）Hermite 标准形：① $A \rightarrow^r B$，$B$ 为 Hermite 标准形，② $F$ 取 $A$ 的 $j_1,\cdots,j_r$ 列，③ $G$ 取 $B$ 的前 $r$ 行。

4 SVD 分解

对 $A$ 的奇异值分解，实际上就是对 $A^HA$ 的谱分解。

定义

（1）正交对角分解：非奇异矩阵 $A$，存在正交阵 $P,Q$ 使 $P^T AQ = \text{diag}(\sigma_1,\cdots,\sigma_n)$，$\sigma_i > 0$；
（2）奇异值：$A^HA$ 的特征值为 $\lambda_i \geq 0$，则 $\sigma_i = \sqrt{\lambda_i}$ 称为奇异值；
（3）奇异值分解：$U^HAV = \begin{bmatrix} \Sigma & O \\\\ O & O \end{bmatrix}$，其中 $U,V$ 为酉矩阵，$\Sigma$ 为非零奇异值组成的对角阵；
（4）正交相抵：$A,B\in R^{m\times n}$，若存在 m 阶正交阵 U 和 n 阶正交阵 V 使 $B = U^{-1}AV$，则称 $A,B$ 正交相抵。

定理

（1）定理一：对任意非奇异矩阵 $A\in R^{n\times n}$，存在正交矩阵 $P,Q$ 使得 $P^TAQ = \text{diag}(\sigma_1,\cdots,\sigma_n)$，其中 $\sigma_i > 0$；
（2）引用结论：① $A^HA$ 是 Hermite 矩阵，且其特征值为非负实数，② $\text{rank}(A^HA) = \text{rank}A$，③ $A = O$ 的充要条件是 $A^HA = O$，④ $A$ 的奇异值个数等于 $A$ 的列数，$A$ 的非零奇异值个数等于 $\text{rank}A$；
（3）定理二：对任意非零矩阵 $A\in C^{m\times n}_r\ (r>0)$，存在 m 阶酉矩阵 U 和 n 阶酉矩阵 V 使得 $U^HAV = \begin{bmatrix} \Sigma & O \\\\ O & O \end{bmatrix}$，其中 $\Sigma = \text{diag}(\sigma_1,\cdots,\sigma_r)$，而 $\sigma_i$ 为 $A$ 的全部非零奇异值；
（4）结论二：$U$ 的列向量是 $AA^H$ 的特征向量，$V$ 的列向量是 $A^HA$ 的特征向量；
（5）定理三：$N(A) = L(v_{r+1},\cdots, v_n)$, $R(A) = L(u_1,\cdots,u_r)$, $A = \sigma_1 u_1 v_1^H + \cdots \sigma_r u_r v_r^H$；
（6）定理四：正交相抵矩阵具有相同的奇异值。

证明

（1）证明定理一：① $A$ 非奇异，所以 $A^TA$ 为实对称正定矩阵矩阵，② 存在正交阵 $Q$ 使 $Q^T(A^TA)Q = \text{diag}(\lambda_1,\cdots,\lambda_n)$，③ 设 $\Lambda = \text{diag}(\sigma_1,\cdots,\sigma_n)$，其中 $\sigma_i = \sqrt(\lambda_i)$，则 $Q^T(A^TA)Q = \Lambda^2$，于是 $(AQ\Lambda^{-1})^TAQ = \Lambda$，④ 令 $P = AQ\Lambda^{-1}$，易证其为正交矩阵；
（2）证明定理二：对 $A^HA$ 进行谱分解，并按非零特征值对 $V$ 分块，令 $U_1 = AV_1\Sigma^{-1}$ 并扩充为标准正交基 $U$ 即得；
（3）证明结论二：注意到，由奇异值分解式可得，$AA^H = U\begin{bmatrix} \Sigma^2 & O \\\\ O & O \end{bmatrix}U^H$, $A^HA = V\begin{bmatrix} \Sigma & O \\\\ O & O \end{bmatrix}V^H$；
（4）证明定理三：① $N(A) = \{x| Ax = 0\} = \{x | U_1 \Sigma V_1^Hx = 0\} =$ $\{x| V_1^H x = 0\} =$ $\{x|x = k_{r+1}v_{r+1} + \cdots + k_nv_n\} =$ $L(v_{r+1},\cdots,v_n)$，② $R(A) = \{y| y = Ax\} = \{y| y = U_1(\Sigma V_1^Hx)\} \subset R(U_1)$, $R(U_1) = \{y| y = U_1z\} = \{y| y = A(V_1\Sigma^{-1}z)\} \subset R(A)$，③ $A = U_1\Sigma V_1^H$ 直接可得；
（5）证明定理四：只需证 $B^TB$ 与 $A^TA$ 有相同的特征值，亦即证二者相似即可。

算法

步骤：

（1）求 $A^HA$ 的 $\lambda_1\sim \lambda_n$, 单位正交向量组 $\alpha_1\sim \alpha_n$；
（2）$V = [\alpha_1,\cdots,\alpha_n]$，$\sigma_i = \sqrt{\lambda_i} > 0$, $i = 1,\cdots,r$, $\Sigma = \text{diag}(\sigma_1,\cdots,\sigma_r)$；
（3）$U_1 = AV_1\Sigma^{-1}$；
（4）把 $U_1$ 扩充为标准正交基 $U$（解方程 $U_1 x = 0$），即得 $A = U\begin{bmatrix} \Sigma & O \\\\ O & O \end{bmatrix}V^H$。

【未完成：分块矩阵的 LDU 分解，导出结论 $\text{det}(I_m + AB) = \text{det}(I_n + BA)$】