机器学习面试必知：最大方差理论和最小平方误差理论下的PCA(主成分分析)的公式推导

最大方差理论

PCA（主成分分析），旨在找到数据中的主成分，并利用这些主成分表征原始数据从而达到降维的目的。在信号处理领域，我们认为信号具有较大方差，而噪声具有较小方差。因此我们不难引出PCA的目标即最大化投影方差，也就是让数据在主轴上投影的方差最大（在我们假设中方差最大的有用信号最大化减少了噪声的影响）。

对于给定的一组数据点{ v1,...,vn}\left\{v_{1},...,v_{n} \right\}{ v1​,...,vn​},均为列向量。中心化后可以这样表示{ x1,...,xn}={ v1−μ,...,vn−μ}\left\{x_{1},...,x_{n} \right\}=\left\{v_{1}-\mu,...,v_{n}-\mu \right\}{ x1​,...,xn​}={ v1​−μ,...,vn​−μ}，其中$\mu =\frac{1}{n}{\sum }_{i=1}^n{v}_i$接下来我要找个一个投影的方向$\omega$使得{ x1,...,xn}\left\{x_{1},...,x_{n} \right\}{ x1​,...,xn​}在$\omega$(单位方向向量)上的投影方差最大。向量$x_i$在$\omega$上的投影坐标可以表示为$(x_i,\omega )=x_i^T\omega$，所以投影之后的方差可以表示为$$D(x)=\frac{1}{n}\sum _{i=1}^n(x_i^T\omega {)}^2=\frac{1}{n}\sum _{i=1}^n(x_i^T\omega {)}^T(x_i^T\omega )=\frac{1}{n}\sum _{i=1}^n{\omega }^T{x}_i{x}_i^{}$$