数学建模学习笔记（十二）——奇异值分解

一、综述

奇异值分解是线性代数中一种重要的矩阵分解方法，它在图形的压缩等方面具有重要的意义及作用。

二、奇异值分解

1. 三个引理：
   1. AB 和 BA 非零的特征值完全相同；
   2. 实对称矩阵的特征值一定为实数，且一定可以相似对角化，特征向量构成的矩阵可通过施密特正交化变为正交矩阵。
   3. $A{A}^T$ 一定是半正定矩阵，因此其特征值不可能为负数。
2. 奇异值分解
   $A_{m\times n}=U_{m\times m}{\sum }_{m\times n}{V}_{n\times n}^T$，其中 $U$ 和 $V$ 都是正交矩阵，且 $\sum$ 是奇异值矩阵（对角元素从大到小排列，这些元素称为奇异值。其他元素为0）
   1. U的计算
      先计算 $A{A}^T$，它是一个 $m$ 阶的对称矩阵，从而可以对 $A{A}^T$ 进行相似对角化，同时将特征值从大到小排列，从而 $A{A}^T=U{\Lambda }_1{U}^T$，从而可以求出矩阵 $U$。
   2. V的计算
      先计算 $A^{T}A$，它是一个 $n$ 阶的对称矩阵，那么我们可以对 $A^{T}A$ 相似对角化，同时也将特征值按从大到小排列，从而 $A^{T}A=V{\Lambda }_2{V}^T$，从而可以求出矩阵 $V$。
   3. $\sum$ 的计算
      取出 $A{A}^T$（或者 $A^{T}A$，二者特征值相同）的非零特征值并开方，便得到了奇异值。然后将这些奇异值按照从大到小填充到 $\sum$ 的主对角线上，其他位置为0，从而便得到了矩阵 $\sum$。

三、使用SVD进行降维

所谓的使用SVD来进行降维，就是使矩阵的秩减小，矩阵的大小不变。
下面来看一个例子：

该分解保留原矩阵的特征比例 = $\frac{8.45+4.94}{8.45+4.94+1.11}\times 100\%=92.34\%$
除此之外，我们还可以自定义需要保留的特征比例，从而保留对应比例的矩阵。

四、SVD的评价及应用

1. 评价
   1. 优点：简化数据，去除噪声点，对数据进行降维。
   2. 缺点：数据的转换难以理解
2. 应用：
   1. 对图片和视频数据进行压缩（图片主要是像素点以及RGB色彩混合而形成的图像，可以对其进行SVD分解，从而达到压缩目的）。
   2. 潜在语义索引
   3. 推荐系统