SVD分解理论

##矩阵SVD分解的理论基础

首先，我们先说明什么是矩阵的奇异值分解（single value decomposition），简称SVD。

给定一个矩阵$A\in R^{m\times n}$, 设它的秩为r，则它具有以下的分解形式
$$A_{m\times n}=U_{m\times m}{\Sigma }_{m\times n}{V}_{n\times n}^T$$
其中，U是正交矩阵，其列向量是$A{A}^T$的单位特征向量，V 也是正交矩阵，其列向量是对应的$A^{T}A$的单位特征向量，$\Sigma$具有下述的形式
$$\Sigma =\left(\begin{array}{cc}{\Sigma }_1& O\\ O& O\end{array}\right)$$
且${\Sigma }_1=diag({\sigma }_1,{\sigma }_2,\dots ,{\sigma }_r)$，r是矩阵A的秩，${\sigma }_i(i=1,2,\dots ,r)$ 是矩阵$A{A}^T$ （或$A^{T}A$）的非零特征值的正平方根，也叫做A的\textbf{奇异值}，当然A还可能包括零奇异值。
在我们知道了什么是SVD后，接下来看一下SVD是怎么来的，在开始之前我们先介绍一下矩阵的四个基本子空间的基本性质。

###四个基本子空间
设矩阵$A\in R^{m\times n}$，秩rank(A) = r，
A的行空间 $R(A^T)$ 为A 的行向量张成集合，
A的列空间 R(A)为A 的列向量的张成集合，
A的的零空间 N(A)为满足Ax = 0 的所有x 组成的集合，
$A^T$的零空间$N(A^T)$ 为满足$A^{T}y=0$的所有y 组成的集合。
\par 四个基本子空间的维数分别为dim(R(A)) = r,dim($R(A^T)$) = r,dim(N(A)) = n-r,dim($N(A^T)$) = m - r,而且$R(A)\perp N(A^T)$，$R(A^T)\perp N(A)$。

####有关特征值的结论

• $A{A}^T$和$A^{T}A$具有相同的非零特征值，而且所有特征值均大于等于0
• $A = U \land U^T $为对称矩阵A的特征值分解（对称性保证特征向量正交），$\land$是对角线元素A的特征值的对角矩阵，U的列向量为对应的A的特征向量。
• rank(A) = r，则$A^{T}A$的正特征值有r个

##SVD的由来

在矩阵A的行空间，我们选择一组标准正交基$v_1,v_2,\dots ,v_r$，经过A 变换，得到列空间的r个元素$u_1,u_2,\dots ,u_r$，我们希望变换后的$u_1,u_2,\dots ,u_r$也是正交的，所以我们在行空间选择的标准正交基就不能是任意的，它需要满足使得变换后的$u_1,u_2,\dots ,u_r$也正交。写成矩阵形式
$$A[v_1,v_2,\dots ,v_r]=[u_1,u_2,\dots ,u_r]$$
我们把$u_1,u_2,\dots ,u_r$单位化，设其长度分别为${\sigma }_1,{\sigma }_2,\dots ,{\sigma }_r$，并记单位化后的向量重新记为$u_1,u_2,\dots ,u_r$，则
$$A[v_1,v_2,\dots ,v_r]=[{\sigma }_1{u}_1,{\sigma }_2{u}_2,\dots ,{\sigma }_r{u}_r]=[u_1,u_2,\dots ,u_r]\left[\begin{array}{cccc}{\sigma }_1& 0& 0& 0\\ 0& {\sigma }_2& 0& 0\\ 0& 0& \dots & 0\\ 0& 0& 0& {\sigma }_r\end{array}\right]$$
我们把零空间也考虑进来，记A的零空间的一组标准正交基$v_{r+1},v_{r+2},\dots ,v_n$，$A^T$的零空间的一组标准正交基为$u_{r+1},u_{r+2},\dots ,u_n$，则
$$A[v_1,v_2,\dots ,v_r，v_{r+1},v_{r+2},\dots ,v_n]=[{\sigma }_1{u}_1,{\sigma }_2{u}_2,\dots ,{\sigma }_r{u}_r,0,0,\dots ,0]$$
$$=[u_1,u_2,\dots ,u_r,u_{r+1},u_{r+2},\dots ,u_m]\left[\begin{array}{ccccc}{\sigma }_1& 0& 0& 0& \\ 0& {\sigma }_2& 0& 0& \\ 0& 0& \dots & 0& \\ 0& 0& 0& {\sigma }_r& \\ & & & & \text{O}\end{array}\right]$$
写成矩阵形式如下
KaTeX parse error: Undefined control sequence: \mbox at position 14: AV = U\Sigma,\̲m̲b̲o̲x̲{即，}A = U \Sigm…
什么样的U，V,$\Sigma$满足上面的要求呢？我们需要解出来。
首先，左乘$A^T$,我们得到，
$$A^{T}A=V{\Sigma }^T{U}^{T}U\Sigma V^T=V{\Sigma }^T\Sigma V^T$$
由对称矩阵的特征值分解，我们可以知道，$\Sigma$中的${\sigma }_1,{\sigma }_2,\dots ,{\sigma }_r$取$A^{T}A$的非零（即正）特征值的正平方根，也是做A正
奇异值，的正V 的列向量取对应的特征向量。
然后，右乘$A^T$,我们得到，
$$A{A}^T=U\Sigma V^{T}V{\Sigma }^T{U}^T=U\Sigma {\Sigma }^T{U}^T$$
由对称矩阵的特征值分解，我们可以知道，$\Sigma$中的${\sigma }_1,{\sigma }_2,\dots ,{\sigma }_r$取$A{A}^T$的非零（即正）特征值正平方根，U的列向量取对应的特征向量。
由于$A{A}^T$和$A^{T}A$具有相同的非零特征值，而且所有特征值均大于等于0，所以上述结论是成立的。

####再看SVD

从上面的推导我们可以看出，

• V的前r列组成$R(A^T)$的标准正交基
• U的前r列组成$R(A)$的标准正交基
• V的后n-r列组成N(A)的标准正交基
• U的后m-r列组成$N(A^T)$的标准正交基

我们把矩阵A的SVD展开

\begin{eqnarray*}
A & = & U \Sigma V^T \ & = & [u_1,u_2,\ldots,u_r,u_{r+1},u_{r+2},\ldots,u_m] \left[ \begin{array}{ccccc}
\sigma_1 & 0 & 0 & 0 & \quad \
0 & \sigma_2 & 0 & 0 & \quad \
0 & 0 & \ldots & 0 & \quad \
0 & 0 & 0 & \sigma_r & \quad \
\quad & \quad & \quad & \quad & \textbf{O}
\end{array} \right][v_1,v_2,\ldots,v_r，v_{r+1},v_{r+2},\ldots,v_n]^T \
& = & \sigma_1 u_1v_1^T + \sigma_2 u_1v_1^T + \ldots + \sigma_r u_1v_1^T \
& = & \sum_{i=1}^r \sigma_i u_iv_i^T
\end{eqnarray*}

例 求矩阵A = $\left(\begin{array}{cc}4& 4\\ -3& 3\end{array}\right)$的奇异值分解。

解 $A^{T}A=\left(\begin{array}{cc}25& 7\\ 7& 25\end{array}\right)$，特征值${\lambda }_1=32,{\lambda }_2=18,$对应的单位正交向量分别为$\left(\begin{array}{c}\frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}\end{array}\right)$,
$\left(\begin{array}{c}\frac{1}{\sqrt{2}}\\ \frac{-1}{\sqrt{2}}\end{array}\right)$，
所以 V = $\left(\begin{array}{cc}\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}& \frac{-1}{\sqrt{2}}\end{array}\right)$,
$\Sigma =\left(\begin{array}{cc}\sqrt{32}& 0\\ 0& \sqrt{18}\end{array}\right)$.

又$AV=\left(\begin{array}{cc}\frac{8}{\sqrt{2}}& 0\\ 0& \frac{-6}{\sqrt{2}}\end{array}\right)$.

因此$U=\left(\begin{array}{cc}\frac{8}{\sqrt{2}}\frac{1}{\sqrt{32}}& 0\\ 0& \frac{-6}{\sqrt{2}}\frac{1}{\sqrt{18}}\end{array}\right)=\left(\begin{array}{cc}1& 0\\ 0& -1\end{array}\right)$

所以$A=\left(\begin{array}{cc}1& 0\\ 0& -1\end{array}\right)\left(\begin{array}{cc}\sqrt{32}& 0\\ 0& \sqrt{18}\end{array}\right)\left(\begin{array}{cc}\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}& \frac{-1}{\sqrt{2}}\end{array}\right)$.