个人学习笔记（十六）奇异值分解

       奇异值分解(singular value decomposition, SVD)是一种矩阵因子分解方法。任意一个$m\times n$的矩阵都可以表示为三个矩阵的乘积（因子分解）形式，矩阵的奇异值分解一定存在，但不唯一。奇异值分解可以看作是矩阵数据压缩的一种方法，这种近似是平方损失意义下的最优近似。

一、奇异值分解的定义与性质

       矩阵的奇异值分解是指将一个非零的$m\times n$实矩阵$A$表示为三个实矩阵乘积形式的运算，即
$$A=U\Sigma V^T$$       其中$U$是$m$阶正交矩阵，$V$是$n$阶正交矩阵，$\Sigma$是由降序排列的非负的对角线元素组成的$m\times n$对角矩阵。
       根据上述描述，有
$$U{U}^T=I$$$$V{V}^T=I$$$$p=\min (m,n)$$$$\Sigma =diag({\sigma }_1,{\sigma }_2,\cdots ,{\sigma }_p)$$$${\sigma }_1\ge {\sigma }_2\ge \cdots \ge {\sigma }_p\ge 0$$       ${\sigma }_i$称为矩阵$A$的奇异值(singular value)，$U$的列向量称为左奇异向量，$V$的列向量称为右奇异向量。任意给定一个实矩阵，奇异值分解一定存在。
       实际常用的是奇异值分解的紧凑形式和截断形式。
       对于紧奇异值分解，设$m\times n$实矩阵$A$的秩为$rank(A)=r$，则称
$$A=U_r{\Sigma }_r{V}_r^T$$为$A$的紧奇异值分解。其中矩阵$U_r$由完全奇异值分解中$U$的前$r$列、矩阵$V_r$由$V$的前$r$列、矩阵${\Sigma }_r$由$\Sigma$的前$r$个对角线元素得到。
       对于截断奇异值分解，设$m\times n$实矩阵$A$的秩为$rank(A)=r$，$0<k<r$，则称
$$A\approx U_k{\Sigma }_k{V}_k^T$$为$A$的截断奇异值分解。其中矩阵$U_k$由完全奇异值分解中$U$的前$k$列、矩阵$V_k$由$V$的前$k$列、矩阵${\Sigma }_k$由$\Sigma$的前$k$个对角线元素得到。
       实际上，紧奇异值分解对应着无损压缩，截断奇异值分解对应着有损压缩，它们是在平方损失（弗罗贝尼乌斯范数）意义下对矩阵的最优近似。
       换一个角度去理解奇异值分解，如果将$m\times n$的矩阵$A$看作从$n$维空间$R^n$到$m$维空间$R^m$的一个线性变换，即
$$T:x\to Ax$$       那么$A$的奇异值分解可以看作是把这个线性变换分解成：一个坐标系的旋转或反射变换、一个坐标轴的缩放变换、另一个坐标系的旋转或反射变换。奇异值定理保证这种分解一定存在，这就是奇异值分解的几何解释。
       任意一个向量$x\in R^n$，经过基于$A=U\Sigma V^T$的线性变换，等价于$x$依次经过坐标系的旋转或反射变换$V^T$，坐标轴的缩放变换$\Sigma$，以及坐标系的旋转或反射变换$U$，得到向量$Ax\in R^m$。
       例如，给定一个2阶矩阵
$$A=\left[\begin{array}{cc}3& 1\\ 2& 1\end{array}\right]$$       其奇异值分解为
$$U=\left[\begin{array}{cc}0.8174& -0.5760\\ 0.5760& 0.8174\end{array}\right]$$$$\Sigma =\left[\begin{array}{cc}3.8643& 0\\ 0& 0.2588\end{array}\right]$$$$V^T=\left[\begin{array}{cc}0.9327& 0.3606\\ -0.3606& 0.9327\end{array}\right]$$       观察基于矩阵$A$的奇异值分解将$R^2$的标准正交基$e_1、e_2$进行线性转换的情况。
$$e_1=\left[\begin{array}{c}1\\ 0\end{array}\right],e_2=\left[\begin{array}{c}0\\ 1\end{array}\right]$$       首先，$V^T$表示一个旋转变换，将$e_1,e_2$旋转，得到$V^T{e}_1,V^T{e}_2$
$$V^T{e}_1=\left[\begin{array}{c}0.9327\\ -0.3606\end{array}\right],V^T{e}_2=\left[\begin{array}{c}0.3606\\ 0.9327\end{array}\right]$$       其次，$\Sigma$表示一个缩放变换，将$V^T{e}_1,V^T{e}_2$缩放，得到$\Sigma V^T{e}_1,\Sigma V^T{e}_2$
$$\Sigma V^T{e}_1=\left[\begin{array}{c}3.6042\\ -0.0933\end{array}\right],\Sigma V^T{e}_2=\left[\begin{array}{c}1.3935\\ 0.2414\end{array}\right]$$       最后，$U$表示一个旋转变换，将$\Sigma V^T{e}_1,\Sigma V^T{e}_2$旋转，得到$A{e}_1,A{e}_2$
$$A{e}_1=U\Sigma V^T{e}_1=\left[\begin{array}{c}3\\ 2\end{array}\right]$$$$A{e}_2=U\Sigma V^T{e}_2=\left[\begin{array}{c}1\\ 1\end{array}\right]$$       下面介绍奇异值分解的主要性质。
       （1）设矩阵$A$的奇异值分解为$A=U\Sigma V^T$，则以下关系成立：
$$A^{T}A=V({\Sigma }^T\Sigma )V^T$$$$A{A}^T=U(\Sigma {\Sigma }^T)U^T$$       （2）奇异值、左奇异向量和右奇异向量之间存在对应关系：
       由$A=U\Sigma V^T$易知
$$AV=U\Sigma$$       比较等式左右两边的第$j$列，由于$\Sigma$是对角矩阵，可以得到
$$A{v}_j={\sigma }_j{u}_j,j=1,2,\cdots ,n$$       类似的，由
$$A^{T}U=V{\Sigma }^T$$       可以得到
$$A^T{u}_j={\sigma }_j{v}_j,j=1,2,\cdots ,n$$$$A^T{u}_j=0,j=n+1,n+2,\cdots ,m$$       （3）在奇异值分解中，奇异值${\sigma }_1,{\sigma }_2,\cdots ,{\sigma }_n$是唯一的，而矩阵$U$和$V$不是唯一的
       （4）矩阵$A$和$\Sigma$的秩相等，等于正奇异值的个数
       （5）设矩阵$A$的秩为$r$，则有：
       矩阵$A$的$r$个右奇异向量$v_1,v_2,\cdots ,v_r$构成值域$R(A^T)$的一组标准正交基；
       矩阵$A$的$n-r$个右奇异向量$v_{r+1},\cdots ,v_n$构成零空间$N(A)$的一组标准正交基；
       矩阵$A$的$r$个左奇异向量$u_1,u_2,\cdots ,u_r$构成值域$R(A)$的一组标准正交基；
       矩阵$A$的$m-r$个左奇异向量$u_{r+1},\cdots ,u_m$构成零空间$N(A^T)$的一组标准正交基。

二、奇异值分解的计算

       给定$m\times n$的矩阵$A$，奇异值分解的计算过程如下。
       （1）求$A^{T}A$的特征值和特征向量，即求解
$$(A^{T}A-\lambda I)x=0$$       将特征值与特征向量按特征值由大到小排列
$${\lambda }_1\ge {\lambda }_2\ge \cdots \ge {\lambda }_n\ge 0$$       （2）求$n$阶正交矩阵$V$，将特征向量单位化后，构成$n$阶正交矩阵$V$
$$V=[v_1{v}_2\cdots v_n]$$       （3）求$m\times n$对角矩阵$\Sigma$，先计算$A$的奇异值
$${\sigma }_i=\sqrt{{\lambda }_i},i=1,2,\cdots ,n$$       再构造对角矩阵$\Sigma$
$$\Sigma =diag({\sigma }_1,{\sigma }_2,\cdots ,{\sigma }_n)$$       （4）求$m$阶正交矩阵$U$，对$A$的前$r$个正奇异值，令
$$u_j=\frac{1}{{\sigma }_j}A{v}_j,j=1,2,\cdots ,r$$       得到
$$U_1=[u_1{u}_2\cdots u_r]$$       再求零空间$N(A^T)$的一组标准正交基，得到
$$U_2=[u_{r+1}{u}_{r+2}\cdots u_m]$$       令
$$U=[U_1{U}_2]$$       得到奇异值分解$A=U\Sigma V^T$。

三、奇异值分解与矩阵近似

       奇异值分解是一种矩阵近似的方法，这个近似是在弗罗贝尼乌斯范数(Frobenius norm)意义下的近似。设矩阵$A\in R^{m\times n}$，定义矩阵$A$的$F$-范数为
$$||A|{|}_F=(\sum _{i=1}^m\sum _{j=1}^n{a}_{ij}^2{)}^{\frac{1}{2}}$$       则有如下引理：设$A$的奇异值分解为$U\Sigma V^T$，其中$\Sigma =diag({\sigma }_1,{\sigma }_2,\cdots ,{\sigma }_n)$，则
$$||A|{|}_F=({\sigma }_1^2+{\sigma }_2^2+\cdots +{\sigma }_n^2{)}^{\frac{1}{2}}$$       因此，考虑一个秩为$k$的矩阵$X\in R^{m\times n}$，使得
$$\min ||A-X|{|}_F$$       矩阵$X$为矩阵$A$在弗罗贝尼乌斯范数意义下的最优近似，这个矩阵$X$便是$A_k=U_k{\Sigma }_k{V}_k^T$。因此，截断奇异值分解是在弗罗贝尼乌斯范数意义下的有损压缩。
       此外，矩阵$A$的奇异值分解$U\Sigma V^T$也可以由外积形式表示。将$U\Sigma$按列向量分块，将$V^T$按行向量分块，即得
$$U\Sigma =[{\sigma }_1{u}_1{\sigma }_2{u}_2\cdots {\sigma }_n{u}_n]$$$$V^T=\left[\begin{array}{c}{v}_1^T\\ v_2^T\\ ⋮\\ v_n^T\end{array}\right]$$       则
$$A={\sigma }_1{u}_1{v}_1^T+{\sigma }_2{u}_2{v}_2^T+\cdots +{\sigma }_n{u}_n{v}_n^T$$       上式被称为矩阵$A$的外积展开式，其中$u_k{v}_k^T$是$m\times n$矩阵。
       若矩阵$A$的秩为$n$，设矩阵
$$A_{n-1}={\sigma }_1{u}_1{v}_1^T+{\sigma }_2{u}_2{v}_2^T+\cdots +{\sigma }_{n-1}{u}_{n-1}{v}_{n-1}^T$$       则$A_{n-1}$得秩为$n-1$，并且$A_{n-1}$是秩为$n-1$矩阵在弗罗贝尼乌斯范数意义下$A$的最优近似矩阵。