11、矩阵分解：从奇异值分解到低秩近似

矩阵分解：从奇异值分解到低秩近似

1. 奇异值分解（SVD）基础

奇异值分解是一种强大的矩阵分解方法，对于矩阵 $A \in R^{m×n}$ 且 $m \geq n$，可表示为 $A_{m×n} = U_{m×n} \Sigma_{n×n} V^⊤_{n×n}$，有时这种形式被称为约化奇异值分解（reduced SVD）。约化奇异值分解只是改变了矩阵的构造方式，但其数学结构与常规奇异值分解相同，其便利性在于 $\Sigma$ 是对角矩阵，类似于特征值分解。

对于秩为 $r$ 的矩阵 $A$，还可以定义其奇异值分解，使得 $U$ 是 $m × r$ 矩阵，$\Sigma$ 是 $r × r$ 对角矩阵，$V$ 是 $r × n$ 矩阵，这种构造确保了对角矩阵 $\Sigma$ 主对角线上只有非零元素。

实际上，奇异值分解对 $m × n$ 矩阵（$m$ 与 $n$ 大小关系不限）都适用。当 $m < n$ 时，奇异值分解得到的 $\Sigma$ 零列多于零行，相应的奇异值 $\sigma_{m + 1}, \ldots, \sigma_{n}$ 为 0。

奇异值分解在机器学习中有广泛应用，包括曲线拟合中的最小二乘问题、线性方程组求解等。它利用了奇异值分解的各种重要性质，与矩阵秩的关系，以及用低秩矩阵近似给定秩矩阵的能力。用奇异值分解替代矩阵通常能使计算对数值舍入误差更稳健。

2. 矩阵近似

奇异值分解不仅可以将矩阵 $A = U\Sigma V^⊤ \in R^{m×n}$ 分解为三个矩阵的乘积（其中 $U \in R^{m×m}$ 和 $V \in R^{n×n}$ 是正交矩阵，$\Sigma$ 的主对角线上