机器学习算法那些事 | 这是我见过最通俗易懂的SVD（奇异值分解）算法介绍

本文来源公众号“机器学习算法那些事”，仅用于学术分享，侵权删，干货满满。

原文链接：这是我见过最通俗易懂的SVD（奇异值分解）算法介绍

线性代数是机器学习领域的基础，其中一个最重要的概念是奇异值分解（SVD），本文尽可能简洁的介绍SVD（奇异值分解）算法的基础理解，以及它在现实世界中的应用。

SVD是最广泛使用的无监督学习算法之一，它在许多推荐系统和降维系统中居于核心位置，这些系统是全球公司如谷歌、Netflix、Facebook、YouTube等的核心技术。

简单来说，SVD是将一个任意矩阵分解为三个矩阵。所以如果我们有一个矩阵A，那么它的SVD可以表示为：

image-20240808230323995

与特征值分解相比，奇异值分解可以应用于非方阵。在SVD中，U和 V 对于任何矩阵都是可逆的，并且它们是正交归一的，这是我们所喜爱的特性。虽然这里不进行证明，但我们可以告诉你，奇异值比特征值在数值上更稳定。

为了更好地理解，我们通过一个例子演示SVD

奇异值是正特征值的平方根，即5和3。因此非方阵A的SVD分解为：

SVD分解证明

image-20240810203329639

SVD的另一种表述