SVD(Singular Value Decomposition, 奇异值分解)数学证明

奇异值分解（SVD）在机器学习、图像压缩中应用很多，使用它能够节省很多存储空间。这里主要从数学原理上阐述SVD的证明。

奇异值分解定义

对任意矩阵$A\in R^{m\times n}$，存在正交矩阵$U\in R^{m\times m},V\in R^{n\times n}$及除了主对角线上的元素以外全为0的矩阵$\Sigma \in R^{m\times n}$，使得$A=U\Sigma V^T$，其中$\Sigma$的主对角元上的元素满足${\sigma }_{11}\ge {\sigma }_{22}\ge ...\ge {\sigma }_{kk},k=min(m,n).$
其中称${\sigma }_i=\sqrt{{\lambda }_i},i=1,2,...,r$为$A$的奇异值，$r$为$A$的秩且${\lambda }_1,{\lambda }_2,...,{\lambda }_r$为$A^{T}A$的非零特征值。

数学证明

因为$A^{T}A$为实对称矩阵，所以存在正交矩阵$V$使得$$V^T{A}^{T}AV=diag({\lambda }_1,...,{\lambda }_n),$$其中${\lambda }_1,...,{\lambda }_n$为$A^{T}A$的特征值。
因为$$A^{T}A{v}_i={\lambda }_i{v}_i,$$$$v_i^T{A}^{T}A{v}_i={\lambda }_i{v}_i^T{v}_i={\lambda }_i,$$所以$${\lambda }_i=(A{v}_i{)}^{T}A{v}_i\ge 0$$则不妨设${\lambda }_1\ge ...\ge {\lambda }_n\ge 0.$

设$V=(v_1,...,v_n)，$且$v_i(i=1,...,n)$为$A^{T}A$的属于${\lambda }_i$的特征向量以及$R^n$的一组标准正交基，设$r=rank(A)$，有$$(A{v}_i,A{v}_j)=v_i^T{A}^{T}A{v}_j=v_i^T{\lambda }_j{v}_j=\{\begin{array}{ll}{\lambda }_i\ne 0,& \text{if i=j}\\ 0,& \text{if i=j }\end{array}(i,j=1,...,r)$$
其中，$\sqrt{{\lambda }_i}=|A{v}_i|,(i=1,...,r)$，且$A{v}_1,...,A{v}_r$也为正交基，
令$$u_i=\frac{A{v}_i}{|A{v}_i|},i=1,...,r$$再将$u_1,...,u_r$扩充成$R^m$的一组标准正交基$u_1,...,u_r,...,u_m.$令$U=(u_1,...,u_m)$, 有$$\begin{gathered} AV=A(v_1,...,v_n)=(A{v}_1,...,A{v}_r,0,...,0)=(\sqrt{{\lambda }_1}{u}_1,...,\sqrt{{\lambda }_r}{u}_r,0,...,0) \\ =(u_1,...,u_m)diag(\sqrt{{\lambda }_1},...,\sqrt{{\lambda }_r},0,...,0) \end{gathered}$$所以$$A=U\Sigma V^T$$且$\sqrt{{\lambda }_1}\ge ...\ge \sqrt{{\lambda }_r}.$