3、奇异值分解（SVD）：原理、计算与应用

奇异值分解（SVD）：原理、计算与应用

1. 奇异值分解（SVD）简介

奇异值分解（SVD）是计算时代最重要的矩阵分解方法之一，为众多数据处理方法奠定了基础。它能提供数值稳定的矩阵分解，可用于多种目的，且对任何矩阵都存在。SVD可用于获得矩阵的最优低秩近似，计算非方阵的伪逆以求解方程组 $Ax = b$，还是主成分分析（PCA）的底层算法，能将高维数据分解为最具统计描述性的因素。SVD/PCA在科学和工程领域有广泛应用。

在某种程度上，SVD推广了快速傅里叶变换（FFT）的概念。许多工程教材从FFT开始，因为它是许多经典分析和数值结果的基础。但FFT适用于理想化场景，而SVD是更通用的数据驱动技术。由于SVD能提供针对特定数据的基，而FFT提供通用基，所以这里从SVD开始介绍。

在很多领域，复杂系统生成的数据通常自然地排列成大矩阵或数组。例如，实验或模拟的时间序列数据可排列成矩阵，每列包含给定时间的所有测量值。若每个时间点的数据是多维的，可将其重塑为高维列向量，形成大矩阵的列。同样，灰度图像的像素值可存储在矩阵中，也可将图像重塑为大列向量表示电影帧。值得注意的是，这些系统生成的数据通常是低秩的，意味着存在一些主导模式可解释高维数据，而SVD是从数据中提取这些模式的数值稳健且高效的方法。

1.1 概述

这里介绍奇异值分解（SVD），并通过一些激励性示例展示其应用，帮助读者建立如何应用SVD的直觉。SVD为许多其他技术提供基础，包括分类方法、动态模式分解（DMD）和本征正交分解（POD）等。

高维数据处理是复杂系统数据处理中的常见挑战。这些系统可能涉及大量测量数据集，如音频、图像或视频数据，也可能是物理系统生成的数据，如