6. 矩阵SVD分解

6. 矩阵SVD分解

---

• pdf版本下载：https://pan.baidu.com/s/1o82ULa6
• html版本下载：https://pan.baidu.com/s/1nvshyTb

  矩阵的SVD（Singular Value Decomposition）分解是矩阵当中的一种重要分解，具有广泛应用。比如说进行数据降维，特征提取，特别是用于图像的压缩。在线性代数里面似乎很少讲到矩阵的奇异值分解，这里单纯从数学原理角度解释一下SVD分解，可能会涉及到一些应用场景。

---

1 SVD分解的形式

  矩阵$M_{m*n}$存在分解：$M_{m*n} = U_{m*m}\Sigma_{m*n} V^T_{n*n}$，其中$U、V$是正交阵，$\Sigma$是对角矩阵。

---

2 特征值分解EVD

  在进行矩阵的奇异值分解之前，首先来看一下矩阵的特征值分解EVD（Eigen Value Decomposition）。这两者有着很紧密的关系。

• 特征值分解需要将矩阵分解成这样的形式：
  

  $A_{m*m} = U_{m*m}\Lambda_{m*m} U^{-1}_{m*m} = U_{m*m}\Lambda_{m*m} U^T_{m*m}$
  其中，$A$是$m*m$的满秩对称矩阵，$U$为正交阵，$\Lambda$是由$A$的特征值组成的对角阵。

• 证明：
  假设矩阵$A$的m个特征值分别为$\lambda_i$，对应的特征向量分别为$x_i$，那么：
  

  $$\begin{cases} Ax_1 = \lambda_1 x_1\\ Ax_2 = \lambda_2 x_2\\ ...\\ Ax_m = \lambda_m x_m \end{cases}$$

  于是：
  

  $AU = U\Lambda$
  其中，$U = [x_1 x_2 ...x_m]$，$\Lambda = \begin{bmatrix} \lambda_1 & \cdots &0\ \vdots & \ddots & \vdots \ 0 & \cdots\ & \lambda_m \ \end{bmatrix}$

  于是：
  

  $A = U\Lambda U^{-1}$

---

3 奇异值分解SVD

  SVD分解的本质：寻找到一组正交基，经过矩阵$A_{m*n}$变换之后任然是正交基。

• 假设我们现在已经找到这样的一组基，譬如：$\{v_1,v_2,..,v_n\}$

  • 经过矩阵A映射成为：$\{Av_1,Av_2,..,Av_n\}$
  • 因为结果仍然为正交基：$Av_i\cdot Av_j = v_i^TA^TAv_j = 0$
  • 并且$v_i\cdot v_j = 0$

• 因此这里的$v_i$我们选择是对称阵$A^TA$的特征向量，所以$v_i$两两正交。并且：
  

  $Av_i\cdot Av_j = v_i^TA^TAv_j = v_i^T\lambda_j v_j = \lambda_j v_i^T v_j =0$

 
  到这里，我们已经找到了一组正交基，经过矩阵A变换之后仍然为正交基。接下来进行SVD分解。

• SVD分解：
  
  • $Av_i\cdot Av_i = \lambda_iv_i v_i = \lambda_i$
  • 单位向量：$u_i = \frac{Av_i}{|Av_i|} = \frac{1}{\sqrt{\lambda_i}}Av_i$
  • 所以：$Av_i = \sigma_i u_i$，$\sigma_i = \sqrt{\lambda_i}$称为奇异值。$0 \leq i \leq k = rank(A)$
  • 由线性代数的基本知识：可以将$\{u_1,u_2,..,u_k\}$扩展到$R^m$空间中的单位正交基$\{u_1,u_2,..,u_m\}$
  • 选取$\{v_{k+1},..,v_n\}$满足$Av_i = 0，并取\sigma_i = 0，k+1\leq i \leq n$
  • 于是：
    $A[v_1,..,v_k| v_{k+1},..,v_n] = [u_1,..,u_k| u_{k+1},..,u_n] \left[ \begin{array}{ccc|c} \sigma_1 & \cdots &0&\\ \vdots& \ddots& \vdots&0\\ 0&\cdots&\sigma_k&\\\hline &0&&0 \end{array} \right]$
  • 结果：$A = U\Sigma V^T$

---

4 应用场景

  简单说一个应用：推荐算法。这个事情我们平常也一直可以接触到，比如说上淘宝买东西，他会根据你以前买过的东西或者别人买的东西来给你做推荐，再比如说网易云音乐每天早上6点钟给你推荐你可能喜欢的歌。（我个人觉得网易云音乐这个推荐做的还是不错的），据说它刚开始主打的就是一些小众音乐的个性推荐。推荐算法当中数据的采集是十分稀疏的，比如说有100个用户，1000种商品，那么这个矩阵就有100000个元素，而每个人都可能只买过大概10种商品，那么矩阵当中非零的元素只有1000个，大部分的元素都是0。冗余情况很严重。所以这个时候通过矩阵的分解，可以做到对数据进行压缩。
  很久之前有一个推荐算法的比赛Netflix，当时主办发宣称有选手可以在他们的算法基础上提高10%的精度可以拿走100万美元的奖金。据说当时的冠军就用到了矩阵的SVD分解。