矩阵分析——矩阵分解

矩阵分解指的是将复杂的矩阵分解成比较简单的矩阵的乘积的形式。在数值代数、矩阵论和最优化应用。

三角分解：

矩阵的三角分解：将一个方阵$AA$分解成一个下三角阵$LL$和一个上三角矩阵$RR$的乘积，即$AA=LLRR$。

充分必要条件：$AA$的各阶顺序主子阵可逆。

分解的方法：只需要对矩阵$(AA,EE)$初等变换成上下三角的形式，就可以得到上三角和下三角矩阵。

满秩分解：

满秩矩阵：矩阵$AA$的行(列)向量线性无关，则称$AA$是行(列)满秩矩阵。

满秩分解：设$AA$是$m\times n$阵，$AA$的秩$r$，则存在$m\times r$列满秩矩阵$FF$和$r\times n$行满秩矩阵$GG$，使得$AA=FFGG$。

分解的方法：将矩阵$AA$使用初等变换化成阶梯形，然后根据行和列的线性无关组构造出列满秩和行满秩矩阵。

正交满秩分解定理：设$AA$是$m\times n$阶实矩阵，$AA$的秩是$r$，则存在$m\times r$列正交矩阵$WW$和行满秩的$r\times n$阵$RR$，使得$AA=WWRR$。其中$WW$满足${WW}^{T}WW={EE}_r$。

谱分解：

矩阵的谱分解：若$AA$可对角化，即存在可逆矩阵$PP$，使得P−1AP=diag{λ1,λ1,⋯ ,λn}\pmb{P}^{-1}\pmb{A}\pmb{P}=diag\{\lambda_1, \lambda_1,\cdots,\lambda_n\}PP−1AAPP=diag{λ1​,λ1​,⋯,λn​}，其中的{λ1,λ1,⋯ ,λn}\{\lambda_1, \lambda_1,\cdots,\lambda_n\}{λ1​,λ1​,⋯,λn​}是矩阵的特征值。设$PP=({\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_n),{PP}^{-1}=({\beta }_1,{\beta }_2,\cdots ,{\beta }_n{)}^T$.则：
$$AA=\sum _{i=1}^n{\lambda }_i{\alpha \alpha }_i{\beta \beta }_i^T$$
矩阵谱分解的必要条件：矩阵可对角化。

分解的方法：求$AA$的特征值和特征向量，特征向量组成的矩阵求逆。

奇异值分解：

奇异值分解：设$AA$是$m\times n$的实矩阵，半正定矩阵${AA}^{T}AA$的n个特征值是${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n$。显然${\lambda }_i\ge 0$.称${\sigma }_i=\sqrt{{\lambda }_i},(i=1,2,\cdots ,n)$是矩阵的奇异值。设奇异值中有$r$个不等于0，记作${\sigma }_1\ge {\sigma }_2\ge \cdots \ge {\sigma }_r>0$,并且设矩阵D=diag{σ1,σ2,⋯ ,σr}\pmb{D}=diag\{\sigma_1,\sigma_2,\cdots,\sigma_r \}DD=diag{σ1​,σ2​,⋯,σr​}。令$m\times n$阶矩阵 $\Sigma$ :
$$\Sigma \Sigma =\left[\begin{array}{cc}DD& OO\\ OO& OO\end{array}\right]$$
则存在正交矩阵$UU$和$VV$:
$$AA=UU\Sigma \Sigma {VV}^T$$
分解方法：求${AA}^{T}AA$的特征值和特征向量。由特征值求奇异值，由特征向量单位正交化求得$VV$，再由$DD$和$VV$求得$DD$。

（奇异值分解在统计学、信号处理、图像压缩、AI有很多应用）