奇异值分解(SVD)相关知识

奇异值分解的主要思想

奇异值（singular value decomposition, SVD）是一种矩阵因子分解方法。

其主要思想是：任意一个$m\times n$ 矩阵都可以表示为三个矩阵的乘积（因子分解）形式，即：
$$A=U\Sigma V^{\mathrm{T}}$$
$U\Sigma V^{\mathrm{T}}$称为矩阵A的奇异值分解，并不要求A为方阵。其中 $U$ 是$m$ 阶正交矩阵，$V$ 是 $n$ 阶正交矩阵， $\Sigma$ 是由降序排序的非负的对角线元素组成的$m\times n$ 矩形对角矩阵。且满足：
$$\begin{gathered} U{U}^{\mathrm{T}}=I \\ V{V}^{\mathrm{T}}=I \\ \Sigma =diag({\sigma }_1,{\sigma }_2,\dots ,{\sigma }_p) \\ {\sigma }_1\ge {\sigma }_2\ge \dots \ge {\sigma }_p\ge 0 \\ p=\min (m,n) \end{gathered}$$
${\sigma }_i$ 称为矩阵A的奇异值，U的列向量称为左奇异向量，V的列向量称为右奇异向量。

主要性质

（1）假设矩阵A的奇异值分解为：$A=U\Sigma V^{\mathrm{T}}$，则以下关系成立：
$$\begin{gathered} A^{\mathrm{T}}A=(U\Sigma V^T{)}^T(U\Sigma V^T)=V({\Sigma }^T\Sigma )V^T \\ A{A}^{\mathrm{T}}=(U\Sigma V^T)(U\Sigma V^T{)}^T=U({\Sigma }^T\Sigma )U^T \end{gathered}$$
说明$A{A}^{\mathrm{T}}$和$A^{\mathrm{T}}A$作为对称矩阵，特征分解存在，且可由矩阵$A$的奇异值分解的矩阵表示。

（2）矩阵A的奇异值分解中，奇异值、左奇异向量和右奇异向量之间存在对应关系。

已知正交矩阵U满足：$U^{-1}=U^{\mathrm{T}}$ ，由$A=U\Sigma V^T$ 易知：
$$AV=U\Sigma$$
比较等式两端的第 j 列，展开则有：
$$A{v}_j={\sigma }_j{u}_{j}j=1,2,\dots ,n$$
这就是奇异值、左奇异向量和右奇异向量之间的关系。进一步可以得到：
$$u_j=\frac{1}{{\sigma }_j}A{v}_j$$
（3）矩阵$A$的奇异值分解中，奇异值是唯一的，即：$\Sigma$ 唯一，但是矩阵$U$和$V$不是唯一的。

（4）$rank(A)=rank(\Sigma )=正奇异值个数$

计算过程

根据性质（1）$A^{\mathrm{T}}A=(U\Sigma V^T{)}^T(U\Sigma V^T)=V({\Sigma }^T\Sigma )V^T$ ，$A^{\mathrm{T}}A$的特征向量构成正交矩阵$V$ 的列；$A^{\mathrm{T}}A$的特征值${\lambda }_j$ 的平方根为奇异值${\sigma }_i$ ；即：
$${\sigma }_j=\sqrt{{\lambda }_j}j=1,2,\dots ,n$$
对其由大到小排列组为对角线元素，构成对角矩阵$\Sigma$ 。

具体过程如下：

（1）首先求$A^{\mathrm{T}}A$ 的特征值和特征向量。

计算对称矩阵$W=A^{\mathrm{T}}A$。

求解特征方程：
$$(W-\lambda I)x=0$$
特征值${\lambda }_i$ 从大到小排序：
$${\lambda }_1\ge {\lambda }_2\ge \dots \ge {\lambda }_n\ge 0$$
求特征值${\lambda }_i$ 对应的特征向量。

（2）将特征向量单位化，得到对应特征值的特征向量$v_1,v_2,\dots ,v_n$，构成n 阶正交矩阵$V$：
$$V=[v_1{v}_2\dots v_n]$$
（3）求$m\times n$ 对角矩阵$\Sigma$

计算A的奇异值：
$${\sigma }_i=\sqrt{{\lambda }_i}$$
构造$m\times n$ 矩形对角矩阵$\Sigma$ ，主对角线元素是奇异值，其余元素是零：
$$\Sigma =diag({\sigma }_1,{\sigma }_2,\dots ,{\sigma }_n)$$
（4）求$m$ 阶正交矩阵$U$

对$A$的前$r$ 个正奇异值，令：
$$u_j=\frac{1}{{\sigma }_j}A{v}_j,j=1,2,\dots r$$
得到：
$$U_1=[u_1{u}_2\dots u_r]$$
求$A^{\mathrm{T}}$ 的零空间的一组标准正交基 { u r + 1 u r + 2 … u m } \{u_{r+1} \quad u_{r+2}\quad \ldots u_{m}\} {ur+1​ur+2​…um​}，令：
$$U_2=[u_{r+1}{u}_{r+2}\dots u_m]$$
并令：
$$U=[U_1{U}_2]$$
（5）得到奇异值分解：
$$A=U\Sigma V^T$$

几何解释

从线性变换的角度解释奇异值分解。设存在这样一个线性变换：
$$T:x\to Ax$$
$x\in R^n,Ax\in R^m$，$x,Ax$ 分别是各自空间的向量，并且有$Ax=U\Sigma V^{\mathrm{T}}x$。线性变换的解释可以按$U\Sigma V^{\mathrm{T}}x$的计算顺序分解为三个简单的变换：

（1）一个坐标系的旋转或反射变换：$V^{\mathrm{T}}$。

（2）一个坐标轴的缩放变换：$\Sigma$。

（3）另一个坐标系的旋转或反射变换：$U$。

奇异值分解过程：$A=U\Sigma V^{\mathrm{T}}$ ，$U、V$ 是正交矩阵，$V$ 可以理解为列向量$v_1,v_2\dots ,v_n$ 构成$R^n$ 空间的一组标准正交基。 $U$ 可以理解为列向量$u_1,u_2\dots ,u_n$ 构成$R^n$ 空间的一组标准正交基。 $\Sigma$ 的对角线元素${\sigma }_1,{\sigma }_2\dots ,{\sigma }_n$ 是一组非负实数，表示 $R^n$ 空间中原始坐标系坐标轴的${\sigma }_1,{\sigma }_2\dots ,{\sigma }_n$ 倍的缩放变换。

任意一个向量$x\in R^n$，经过基于$A=U\Sigma V^{\mathrm{T}}$ 的线性变换，等价于上述的三个过程，具体如下图所示：

奇异值分解形式

奇异值分解$A=U\Sigma V^{\mathrm{T}}$ 又称矩阵的完全奇异值分解。实际常用的是奇异值分解的紧凑形式和截断形式。紧凑形式分解是与原始矩阵等秩的奇异值分解，截断奇异值分解是比原始矩阵低秩的奇异值分解。

（1）紧奇异值分解

紧奇异值分解：
$$A=U_r{\Sigma }_r{V}_r^{\mathrm{T}}$$
其中，$r=rank(A)$ 。

这种分解的对角矩阵${\Sigma }_r$ 的秩和原始矩阵A的秩相等。

（2）截断奇异值分解
$$A\approx U_k{\Sigma }_k{V}_k^{\mathrm{T}}$$
其中，$rank(A)=r且0<k<r$。

这种分解的对角矩阵${\Sigma }_r$ 的秩比原始矩阵A的秩低。

参考文章：

《统计学习方法 第二版》