人工智能数学基础知识复习（二）——特征分解与奇异值分解（SVD）

今天我们复习一下线性代数中的矩阵特征分解与奇异值分解。本文将结合几何的角度来阐述这两个概念。

一、特征值与特征分解

假设我们现在有一个对角矩阵为：

将该矩阵作用于列向量，则可以得到：

从几何的角度，上式可以看做在平面上取一个点(x, y)并使用矩阵乘法将其变换为另外一个点。我们可以用下图表示上述变换：

由图中可以看出矩阵M使该平面在横轴方向变大了3倍，纵轴方向保持不变。

如果矩阵M换作下式是什么情况呢？

变换的效果会像下面这张图一样：

上面的图可能不是很直观，让我们把图片中的网格向左旋转45度观察：

现在，我们能够很明显地看到，M矩阵将向量在一个方向上拉伸