算法笔记【2】-SVD奇异分解及在最小二乘求解上的应用

一、什么是SVD分解

奇异值分解（Singular Value Decomposition，简称SVD）是一种重要的矩阵分解技术。它可以将一个矩阵分解为三个矩阵的乘积，即A = UΣVT，其中U和V是正交矩阵，Σ是一个对角矩阵，对角元素为从大到小排列的特征值。

二、SVD分解的步骤

这里以一个例子来讲解SVD分解的步骤,假设有矩阵A如下，我们对其进行进行SVD分解。
$$A=\left[\begin{array}{cc}0& 1\\ 1& 1\\ 1& 0\end{array}\right]\text{\hspace{1em}(1)}$$

• 对于给定的m×n矩阵A，计算A^TA得到一个n×n的对称矩阵C。
  $$C=A^{T}A=\left[\begin{array}{ccc}0& 1& 1\\ 1& 1& 0\end{array}\right]\left[\begin{array}{cc}0& 1\\ 1& 1\\ 1& 0\end{array}\right]=\left[\begin{array}{cc}2& 1\\ 1& 2\end{array}\right]\text{\hspace{1em}(2)}$$

• 对C矩阵进行特征值分解，得到特征值向量V组成的矩阵和对应的特征值λ。
  $$V=\left[\begin{array}{cc}\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\end{array}\right]\text{\hspace{1em}(3)}$$
  对应的特征值：λ₁=3，λ₂=1。具体如何求特征向量和特征值可以参考《线性代数》的课本。

• 将特征值按从大到小的顺序排列，并对应生成对角矩阵Σ。
  $$\Sigma =\left[\begin{array}{cc}\sqrt{3}& 0\\ 0& 1\\ 0& 0\end{array}\right]\text{\hspace{1em}(4)}$$

• 计算AA^T，并将结果进行特征值分解，得到特征值λ和对应的特征向量组成的矩阵U。
  $$U=\left[\begin{array}{ccc}\frac{1}{\sqrt{6}}& \frac{1}{\sqrt{2}}& \frac{1}{\sqrt{3}}\\ \frac{2}{\sqrt{6}}& 0& -\frac{1}{\sqrt{3}}\\ \frac{1}{\sqrt{6}}& -\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{3}}\end{array}\right]\text{\hspace{1em}(5)}$$
  对应的特征值：λ₁=3，λ₂=1,和C=A^TA的特征值一致。

三、SVD分解的应用领域

1. 图像压缩
   在图像处理中，SVD分解常被用于图像压缩。通过对图像矩阵进行SVD分解，可以得到较低秩的近似矩阵，从而减少存储空间和传输带宽。这种方法在JPEG2000等图像压缩算法中得到广泛应用。
2. 推荐系统
   SVD分解在推荐系统中也有重要的应用。通过对用户评分矩阵进行SVD分解，可以将用户和物品映射到一个隐空间中，并预测用户对未评分物品的喜好程度。基于SVD的协同过滤算法在Netflix Prize竞赛中取得了很大成功。
3. 数据降维
   SVD分解可以将高维数据降维到低维，保留数据的主要特征。这在机器学习和数据挖掘任务中非常有用，可以提高计算效率并减少存储需求。例如，在主成分分析（PCA）中，SVD分解被广泛用于实现数据降维。

四、用SVD求解最小二乘表达式

一般情况下，线性方程的表达式为:
$$Ax=b$$
其中A为m×n的系数矩阵，x为n×1的未知向量，b为m×1的矩阵。线性方程可分为三种情况：
1.m = n，方程组和未知数的个数相等，理论上存在唯一解；
2. m < n，方程组数小于未知数的个数，理论上存在无数解；
3. m > n, 方程组数大于于未知数的个数，即为超定方程，一般情况下无解，所以一般是求其最优解。这也是我数学建模过程中最常用到的线性模型。我们知道求最优解可通过常规最小二乘法来求解：
$$x=(A^{T}A{)}^{-1}{A}^{T}b$$
此方式确实常用，但需要注意到的是，求解过程需要对A^TA求逆，在矩阵A不满秩的情况下，A^TA是奇异矩阵，无法求逆。而通过SVD求解的优点是不需要复杂的求逆运算，且可处理A^TA为奇异阵不可逆的情况。
具体的，A = UΣV^T，所以Ax=b可以表示为：
$$U\Sigma V^{T}x=b$$
两边同时左乘U^T得：
$$\Sigma V^{T}x=U^{T}b$$
现在令y=V^T x, b’=U^T b,则：
$$\Sigma y=b^{\prime }$$
展开可以表示为：

所以展开矩阵得：
$$y_i=\frac{b_i^{\prime }}{{\lambda }_i},i=1,2,...,n$$
根据y=V^T x，可以反解得到x：
$$x_i=V{y}_i,i=1,2,...,n$$
至此，解算完毕。

• 代码找时间补^_^ 。