奇异值分解(SVD)

blinkyou001

已于 2024-08-13 22:36:42 修改

阅读量2.7k

点赞数 19

文章标签：算法 SVD 奇异值分解

于 2024-08-13 19:12:47 首次发布

本文链接：https://blog.youkuaiyun.com/blinkyou001/article/details/141141098

版权

1 奇异值分解(SVD)简介

Beltrami 和 Jordan 被认为是奇异值分解（Singular Value Decomposition，SVD）的共同开创者，二人于19世纪70年代相继提出了相关理论。奇异值分解主要解决的问题是数据降维。在高维度的数据中，数据往往是稀疏的，或者数据往往由几个重要的成分表达了大部分信息。因此，通过降维可以很好地化繁为简的解决问题，也可以降低数据的存储成本和运算成本。

奇异值分解有着比较广泛的应用，在图像处理、推荐系统中都有着比较重要的应用。

2 奇异值分解的基本原理

2.1 特征值与特征向量

对于 $eq?n$ 阶方阵 $eq?A$ ，若存在非零向量 $eq?%5Cbeta$ 和非负值 $eq?%5Clambda$ ，使得 $eq?A%5Cbeta%20%3D%5Clambda%20%5Cbeta$ ，则 $eq?%5Clambda$ 称为线性变换 $eq?A$ 的特征值， $eq?%5Cbeta$ 称为特征值 $eq?%5Clambda$ 的特征向量。

若方阵 $eq?A$ 的所有特征值为 $eq?%5Clambda%20_%7B1%7D%2C%5Clambda%20_%7B2%7D%2C...%2C%5Clambda%20_%7Bn%7D$ ，对应的一组特征向量为 $eq?%5Cbeta%20_%7B1%7D%2C%5Cbeta%20_%7B2%7D%2C...%2C%5Cbeta%20_%7Bn%7D$ ，

记 $eq?S%3D%5Cbegin%7Bbmatrix%7D%20%5Clambda%20_%7B1%7D%20%26%20%26%20%26%20%5C%5C%20%26%20%5Clambda%20_%7B2%7D%20%26%20%26%20%5C%5C%20%26%20%26%20...%20%26%20%5C%5C%20%26%20%26%20%26%20%5Clambda%20_%7Bn%7D%20%5Cend%7Bbmatrix%7D$ ， $eq?B%3D%5Cleft%20%28%5Cbeta%20_%7B1%7D%2C%5Cbeta%20_%7B2%7D%2C...%2C%5Cbeta%20_%7Bn%7D%20%5Cright%20%29$

则有 $eq?AB%3DBS$ 。

当 $eq?A$ 为实对称阵时，存在单位正交向量 $eq?%5Cbeta%20_%7B1%7D%2C%5Cbeta%20_%7B2%7D%2C...%2C%5Cbeta%20_%7Bn%7D$ 构成单位正交阵 $eq?B%3D%5Cleft%20%28%5Cbeta%20_%7B1%7D%2C%5Cbeta%20_%7B2%7D%2C...%2C%5Cbeta%20_%7Bn%7D%20%5Cright%20%29$ 。对于正交阵 $eq?B%5E%7B-1%7D%3DB%5E%7BT%7D$ ，从而 $eq?ABB%5E%7B-1%7D%3DBSB%5E%7B-1%7D%5CRightarrow%20A%3DBSB%5E%7B-1%7D%3DBSB%5E%7BT%7D$ 。