MIT线性代数笔记-第30讲-奇异值分解

30.奇异值分解

奇异值分解（简称$SVD$分解）可以将一个比较复杂的矩阵用更小更简单的几个子矩阵相乘来表示，这些小矩阵描述的都是矩阵的重要的特性。奇异值分解在图形降噪、推荐系统中都有很重要的应用。

对于任意矩阵$A$都有$A=U\Sigma V^T$，其中$U,V$为正交矩阵，当$A$为方阵时，$\Sigma$为对角阵且其主对角线元素即为$A$的奇异值

由主轴定理可知对称矩阵的奇异值分解为$Q\Lambda Q^T$，此时$U=V=Q$

设$A$是一个$m$行$n$列的矩阵且秩为$r$，可以将$A$视为一个线性变换且能把行空间中的向量$\vec{v}$变为列空间中的$\vec{u}$，即$\vec{u}=A\vec{v}$

考虑$A$行空间的一组标准正交基，经过$A$的变换后不一定能得到列空间的一组正交基，因此那组满足条件的标准正交基尤为重要，再考虑将变换后的每个向量都视为一个单位向量的倍数，即$A\vec{v}=\sigma \vec{u}$（其中$\vec{v},\vec{u}$均为单位向量），最后将上述过程用矩阵表示得$A\left[\begin{array}{cccc}{\vec{v}}_1& {\vec{v}}_2& \cdots & {\vec{v}}_r\end{array}\right]=\left[\begin{array}{cccc}{\vec{u}}_1& {\vec{u}}_2& \cdots & {\vec{u}}_r\end{array}\right]\left[\begin{array}{cccc}{\sigma }_1& 0& \cdots & 0\\ 0& {\sigma }_2& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & {\sigma }_r\end{array}\right]$，即$AV=U\Sigma$

1. 当$A$是可逆矩阵时，$U,V$为正交矩阵，所以$A=U\Sigma V^{-1}=U\Sigma V^T$

   接下来求解$U,V$，先考虑消去$U$，由上一讲可知$A^{T}A$至少是半正定的，这说明它具有很好的性质，接下来表示出$A^{T}A$，有$A^{T}A=V{\Sigma }^T{U}^{T}U\Sigma V^T=V{\Sigma }^2{V}^T=V\left[\begin{array}{cccc}{\sigma }_1^2& 0& \cdots & 0\\ 0& {\sigma }_2^2& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & {\sigma }_r^2\end{array}\right]V^T$

   因为$A^{T}A$是对称矩阵，又$A^{T}A$的特征值非负且${\Sigma }^2$的主对角线元素为平方也非负，所以$V{\Sigma }^2{V}^T$可以被视为$Q\Lambda Q^T$，这样就求出了$V,\Sigma$，即${\vec{v}}_1,{\vec{v}}_2,\cdots ,{\vec{v}}_r$分别为$A^{T}A$的标准正交特征向量，${\sigma }_1,{\sigma }_2,\cdots ,{\sigma }_r$分别为$A^{T}A$特征值的平方根

   同理可以由$A{A}^T$得到$U$，即${\vec{u}}_1,{\vec{u}}_2,\cdots ,{\vec{u}}_r$分别为$A{A}^T$的标准正交特征向量

   例： 求$A=\left[\begin{array}{cc}4& 4\\ -3& 3\end{array}\right]$的$SVD$分解

   ​   有$A^{T}A=\left[\begin{array}{cc}4& -3\\ 4& 3\end{array}\right]\left[\begin{array}{cc}4& 4\\ -3& 3\end{array}\right]=\left[\begin{array}{cc}25& 7\\ 7& 25\end{array}\right]$，解得其特征值为$32,18$，对应特征向量$\left[\begin{array}{c}1\\ 1\end{array}\right],\left[\begin{array}{c}1\\ -1\end{array}\right]$

   ​   标准化后得到$\left[\begin{array}{c}\frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}\end{array}\right],\left[\begin{array}{c}\frac{1}{\sqrt{2}}\\ \frac{-1}{\sqrt{2}}\end{array}\right]$，所以$\Sigma =\left[\begin{array}{cc}4\sqrt{2}& 0\\ 0& 3\sqrt{2}\end{array}\right],V^T=\left[\begin{array}{cc}\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}& \frac{-1}{\sqrt{2}}\end{array}\right]$

   ​   再用和求$V$类似的方法求得$U=\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right]$，但是此时$U\Sigma V^T=\left[\begin{array}{cc}4& 4\\ 3& -3\end{array}\right]\ne A$

   ​   这是因为在求$\vec{u}$时没有考虑已经求得的对应$\vec{v}$，而$\vec{u}$本应该由对应$\vec{v}$得到，所以应该用已经求得的$V$和$\Sigma$求出$U$

   ​   比如把该例子中$U$的第二个列向量换为$\left[\begin{array}{c}0\\ -1\end{array}\right]$，仍然可以对应特征值且保持标准正交，还满足$U\Sigma V^T=A$

2. 当$A$是奇异矩阵时，应该考虑矩阵的零空间和左零空间，它们分别和行空间、列空间正交，因此分别把它们的一组标准正交基加入$V,U$，这样$U,V$又成为了正交矩阵，并且零空间和左零空间基中的元素对应的$\sigma =0$

   即$A\left[\begin{array}{cccccc}{\vec{v}}_1& \cdots & {\vec{v}}_r& {\vec{v}}_{r+1}& \cdots & {\vec{v}}_n\end{array}\right]=\left[\begin{array}{cccccc}{\vec{u}}_1& \cdots & {\vec{u}}_r& {\vec{u}}_{r+1}& \cdots & {\vec{u}}_n\end{array}\right]\left[\begin{array}{cccccc}{\sigma }_1& \cdots & 0& 0& \cdots & 0\\ ⋮& \ddots & ⋮& ⋮& \cdots & ⋮\\ 0& \cdots & {\sigma }_r& 0& \cdots & 0\\ 0& \cdots & 0& 0& \cdots & 0\\ ⋮& \cdots & ⋮& ⋮& \ddots & ⋮\\ 0& \cdots & 0& 0& \cdots & 0\end{array}\right]$

   这样也有$A=U\Sigma V^T$，求$U,V$的方法和$A$为可逆矩阵时一致

3. 当$A$不是方阵时，考虑了零空间和左零空间后，$U,V$的维数分别为$m,n$，不再相等，所以$\Sigma$会是一个$m$行$n$列的矩阵

   但是仍然有$A=U\Sigma V^T$，并且求$U,V$的方法还是一样的

---

打赏

制作不易，若有帮助，欢迎打赏！