矩阵分析之 实矩阵分解（1）特征分解与奇异值分解SVD

前言

本篇开始学习记录矩阵分解内容。需要说明的是，目前我所触及的矩阵基本上没有出现复数域，因此所做的讨论都局限于实矩阵分析。

特征分解（又称谱分解、对角化）

当n阶方阵$A$具有n个线性无关的特征向量时，可以将$A$特征分解为可逆矩阵与对角矩阵的乘积：
$$A=P\Lambda P^{-1}$$
其中，$P$是对应于$\Lambda$主对角特征值的特征向量组。特征分解的方法可能不唯一。

此外，如果$A$是实对称矩阵，则必然存在正交矩阵$Q$使得$A=Q\Lambda Q^T$。

奇异值分解SVD

特征分解不仅要求矩阵是方阵，而且方阵的线性无关的特征向量要与阶数相同。而数值计算中许多线性方程都不适定，矩阵行列数不一致。奇异值分解SVD弥补了这个缺陷。

对于任意矩阵$A\in R^{m\times n}$，都可以进行进行奇异值分解$A=U\Sigma V^T$，其中$U,V$是正交矩阵，$\Sigma$是半正定对角矩阵，主对角元素包含大于0的奇异值和0。

奇异值
对于矩阵$A\in R^{m\times n}$，其奇异值是$A^{T}A$的特征值的算术平方根$\sqrt{\lambda }$，通常将奇异值从大到小进行排列。

奇异值分解
由SVD式可得到$A^{T}A$和$A{A}^T$：
$$\begin{gathered} A^{T}A=V{\Sigma }^T{U}^{T}U\Sigma V^T=V{\Sigma }^2{V}^T \\ A{A}^T=U\Sigma V^{T}V{\Sigma }^T{U}^T=U{\Sigma }^2{U}^T \end{gathered}$$
又$A^{T}A,A{A}^T$都是n阶实对称矩阵，可以进行正交对角化，则$V,U$实际上就是使$A^{T}A,A{A}^T$正交对角化的正交矩阵。

SVD过程举例
$$\begin{gathered} A=\left[\begin{array}{ccc}1& 0& 0\\ 1& 0& 0\end{array}\right] \\ {A}^{T}A=\left[\begin{array}{ccc}2& 0& 0\\ 0& 0& 0\\ 0& 0& 0\end{array}\right] \\ \lambda =2,0,0,x_1=(1,0,0{)}^T,x_2=(0,1,0{)}^T,x_3=(0,0,1{)}^T \\ A{A}^T=\left[\begin{array}{cc}1& 1\\ 1& 1\end{array}\right] \\ \lambda =2,0,x_1=(\sqrt{2}/2,\sqrt{2}/2),x_2=(-\sqrt{2}/2,\sqrt{2}/2) \\ U=\left[\begin{array}{cc}\sqrt{2}/2& -\sqrt{2}/2\\ \sqrt{2}/2& \sqrt{2}/2\end{array}\right],V=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right],\Sigma =\left[\begin{array}{ccc}\sqrt{2}& 0& 0\\ 0& 0& 0\end{array}\right] \\ U\Sigma V^T=\left[\begin{array}{ccc}1& 0& 0\\ 1& 0& 0\end{array}\right]=A \end{gathered}$$

SVD的进一步理解

假设有一个矩阵$A\in R^{m\times n}$，对于线性变换有$Ax=U\Sigma V^{T}x,x\in R^n。U,V$都是正交矩阵，因此可以看作两个单位正交基。

$Ax=U\Sigma V^{T}x,x\in R^n$，将$x$视为在正交基$V$上的线性组合，则$V^{T}x$表示对$x$进行一次旋转，旋转的结果使得$x$映射回到标准基上（如(1,0),(0,1)），$\Sigma V^{T}x$表示将标准基的基向量进行比例伸缩，$U\Sigma V^{T}x$表示将比例伸缩后的基再旋转到新的方向上。

因此，SVD中，$V^T$表征了原正交基的旋转，$U$表征了新基的旋转，奇异值刻画了原正交基旋转后各个基方向的伸缩情况（也即每个基的重要程度）。