第15章 奇异值分解：习题解答及其案例

这一章初学建议看该视频学习，讲得歪瑞古德： 《统计学习方法》李航 第15章奇异值分解

1.矩阵的奇异值分解是指将$m\times n$实矩阵$A$表示为以下三个实矩阵乘积形式的运算
$$A=U\Sigma V^T$$

其中$U$是$m$阶正交矩阵，$V$是$n$阶正交矩阵，$\Sigma$是$m\times n$矩形对角矩阵
Σ = diag ⁡ ( σ 1 , σ 2 , ⋯   , σ p ) , p = min ⁡ { m , n } \Sigma = \operatorname { diag } ( \sigma _ { 1 } , \sigma _ { 2 } , \cdots , \sigma _ { p } ) , \quad p = \operatorname { min } \{ m , n \} Σ=diag(σ1​,σ2​,⋯,σp​),p=min{ m,n}
其对角线元素非负，且满足${\sigma }_1\ge {\sigma }_2\ge \cdots \ge {\sigma }_p\ge 0$

2.任意给定一个实矩阵，其奇异值分解一定存在，但并不唯一。

3.奇异值分解包括紧奇异值分解和截断奇异值分解。紧奇异值分解是与原始矩阵等秩的奇异值分解，截断奇异值分解是比原始矩阵低秩的奇异值分解。

4.奇异值分解有明确的几何解释。奇异值分解对应三个连续的线性变换：一个旋转变换，一个缩放变换和另一个旋转变换。第一个和第三个旋转变换分别基于空间的标准正交基进行。

5.设矩阵$A$的奇异值分解为$A=U\Sigma V^T$，则有$$\begin{array}{l}{A}^{T}A=V({\Sigma }^T\Sigma )V^T\\ A{A}^T=U(\Sigma {\Sigma }^T)U^T\end{array}$$

即对称矩阵$A^{T}A$和$A{A}^T$的特征分解可以由矩阵$A$的奇异值分解矩阵表示。

6.矩阵$A$的奇异值分解可以通过求矩阵$A^{T}A$的特征值和特征向量得到：$A^{T}A$的特征向量构成正交矩阵$V$的列；从$A^{T}A$的特征值${\lambda }_j$的平方根得到奇异值${\sigma }_i$,即$${\sigma }_j=\sqrt{{\lambda }_j},j=1,2,\cdots ,n$$

对其由大到小排列，作为对角线元素，构成对角矩阵$\Sigma$;求正奇异值对应的左奇异向量，再求扩充的$A^T$的标准正交基，构成正交矩阵$U$的列。

7.矩阵$A=[a_{ij}{]}_{m\times n}$的弗罗贝尼乌斯范数定义为$$\Vert A{\Vert }_F=(\sum _{i=1}^m\sum _{j=1}^n(a_{ij}{)}^2{)}^{\frac{1}{2}}$$在秩不超过$k$的$m\times n$矩阵的集合中，存在矩阵$A$的弗罗贝尼乌斯范数意义下的最优近似矩阵$X$。秩为$k$的截断奇异值分解得到的矩阵$A_k$能够达到这个最优值。奇异值分解是弗罗贝尼乌斯范数意义下，也就是平方损失意义下的矩阵最优近似。

8.任意一个实矩阵$A$可以由其外积展开式表示$$A={\sigma }_1{u}_1{v}_1^T+{\sigma }_2{u}_2{v}_2^T+\cdots +{\sigma }_n{u}_n{v}_n^T$$
其中$u_k{v}_k^T$为$m\times n$矩阵，是列向量$u_k$和行向量$v_k^T$的外积，${\sigma }_k$为奇异值，$u_k,v_k^T$