PCA(主成分分析)为什么与特征值有关系

主方向的特征

以求解直线主要方向为例：假设有一堆数据点，他们大概是按照如下的椭圆形状分布的，那么如果是人的话，可以一眼看出其主要的分布方向是 w 方向：

更专业一点的说法是：所有的数据点在 w 方向上的投影的方差比较大。

投影方向的方差求解

w 如果是任意的其他的方向，求解出来的方差都会比较小。那么所有点到 w 方向的投影方差的通式为：

如果要求解主方向，那么目标函数就可以定义为令投影方差最大：