矩阵分解相关知识点总结（一）

〇、Gauss消去法

  对于$n$元线性方程组
$$\mathbf{A}\mathbf{x}=\mathbf{b}\text{\hspace{1em}(0)}$$

其中，$\mathbf{A}=(a_{ij}{)}_{n\times n}$，$\mathbf{x}=({\xi }_1,{\xi }_2,\cdots ,{\xi }_n{)}^{\mathrm{T}}$，$\mathbf{b}=(b_1,b_2,\cdots ,b_n{)}^{\mathrm{T}}$。Gauss消去法的基本思想是化系数矩阵$\text{A}$为上三角矩阵，或化增广矩阵$\left[\begin{array}{cc}\mathbf{A}& \mathbf{b}\end{array}\right]$为上阶梯形矩阵以求其解，这个过程就叫Gauss消元。

  Gauss消元过程能够进行到底的条件是当且仅当$\mathbf{A}$的各阶顺序主子式都不为零，即：
$${\Delta }_r\ne 0(r=1,2,\cdots ,n-1)$$

一、矩阵的三角分解

$$三角分解\{\begin{array}{ll}A=LDU& \text{LDU分解}\\ A=L(DU)=L\hat{U}& \text{Doolittle分解}\\ A=(LD)U=\hat{L}U& \text{Crout分解}\end{array}$$

  三角分解又称作LU分解或LR分解。在上式中，$L$是单位下三角矩阵，$D$是对角矩阵，$U$是单位上三角矩阵。

分解过程：
$$A=A^{(0)}=L_1{A}^{(1)}=L_1{L}_2{A}^{(2)}=\cdots =L_1{L}_2\cdots L_{n-1}{A}^{(n-1)}=L{A}^{(n-1)}\text{\hspace{1em}(1)}$$

$L_1=\left[\begin{array}{cccc}1& & & \\ c_{21}& 1& & \\ ⋮& & \ddots & \\ c_{n1}& & & 1\end{array}\right]$，$L_2=\left[\begin{array}{ccccc}1& & & & \\ & 1& & & \\ & c_{32}& 1& & \\ & ⋮& & \ddots & \\ & c_{n2}& & & 1\end{array}\right]$，$\cdots$，$L_r=\left[\begin{array}{cccccc}1& & & & & \\ & \ddots & & & & \\ & & 1& & & \\ & & c_{r+1,r}& 1& & \\ & & ⋮& & \ddots & \\ & & c_{nr}& & & 1\end{array}\right]$，$L_{n-1}=\left[\begin{array}{ccccc}1& & & & \\ & 1& & & \\ & & \ddots & & \\ & & & 1& \\ & & & c_{n,n-1}& 1\end{array}\right]$为Frobenius矩阵，其中空白处全为$0$，$c_{ir}=\frac{a_{ir}^{(r-1)}}{a_{rr}^{(r-1)}},(r=1,2,\cdots ,n-1),(i=r+1,r+2,\cdots ,n)$，$L_r^{-1}=\left[\begin{array}{cccccc}1& & & & & \\ & \ddots & & & & \\ & & 1& & & \\ & & -c_{r+1,r}& 1& & \\ & & ⋮& & \ddots & \\ & & -c_{nr}& & & 1\end{array}\right]$。

$L=L_1{L}_2\cdots L_{(n-1)}=\left[\begin{array}{ccccc}1& & & & \\ c_{21}& 1& & & \\ ⋮& ⋮& \ddots & & \\ c_{n-1,1}& c_{n-1,2}& \cdots & 1& \\ c_{n1}& c_{n2}& \cdots & c_{n,n-1}& 1\end{array}\right]$是一个单位下三角矩阵，$A^{(n-1)}=L_{n-1}^{-1}\cdots L_2^{-1}{L}_1^{-1}{A}^{(0)}=L^{-1}A$是一个上三角矩阵，可以分解成一个对角矩阵（$D$）和一个单位上三角矩阵（$U$）。

二、矩阵的Cholesky分解

  当$A$为实对称正定矩阵时，有
$$A=LDU=A^{\text{T}}=(LDU{)}^{\mathrm{T}}=U^{\mathrm{T}}D{L}^{\mathrm{T}},D=\mathrm{diag}(d_1,d_2,\cdots ,d_n)$$

即有：$L=U^{\mathrm{T}}$，$U=L^{\mathrm{T}}$，令$\tilde{D}=\mathrm{diag}(\sqrt{d_1},\sqrt{d_2},\cdots ,\sqrt{d_n})$，则有：
$$A=LD{L}^{\mathrm{T}}=L{\tilde{D}}^2{L}^{\mathrm{T}}=(L\tilde{D})(\tilde{D}{L}^{\mathrm{T}})=(L\tilde{D})(L\tilde{D}{)}^{\mathrm{T}}=G{G}^{\mathrm{T}}\text{\hspace{1em}(2)}$$

其中，$G=L\tilde{D}$为下三角矩阵。上式即为矩阵的Cholesky分解，又称平方根分解或对称三角分解。

  Cholesky分解过程中，可以根据以下递推公式计算$G$矩阵中每个元素的值：
$$g_{ij}=\{\begin{array}{ll}(a_{ii}-\sum _{k=1}^{i-1}{g}_{ik}^2{)}^{1/2}& (i=j)\\ \frac{1}{g_{jj}}(a_{ij}-\sum _{k=1}^{j-1}{g}_{ik}{g}_{jk})& (i>j)\\ 0& (i<j)\end{array}$$

当然也可以先对矩阵$A$做LDU分解，然后取$G=L\tilde{D}$。