机器学习面试必知：最大方差理论和最小平方误差理论下的PCA(主成分分析)的公式推导

最大方差理论

PCA（主成分分析），旨在找到数据中的主成分，并利用这些主成分表征原始数据从而达到降维的目的。在信号处理领域，我们认为信号具有较大方差，而噪声具有较小方差。因此我们不难引出PCA的目标即最大化投影方差，也就是让数据在主轴上投影的方差最大（在我们假设中方差最大的有用信号最大化减少了噪声的影响）。

对于给定的一组数据点 { v 1 , . . . , v n } \left\{v_{1},...,v_{n} \right\} { v1​,...,vn​},均为列向量。中心化后可以这样表示 { x 1 , . . . , x n } = { v 1 − μ , . . . , v n − μ } \left\{x_{1},...,x_{n} \right\}=\left\{v_{1}-\mu,...,v_{n}-\mu \right\} { x1​,...,xn​}={ v1​−μ,...,vn​−μ}，其中$\mu =\frac{1}{n}{\sum }_{i=1}^n{v}_i$接下来我要找个一个投影的方向$\omega$使得 { x 1 , . . . , x n } \left\{x_{1},...,x_{n} \right\} { x1​,...,xn​}在$\omega$(单位方向向量)上的投影方差最大。向量$x_i$在$\omega$上的投影坐标可以表示为$(x_i,\omega )=x_i^T\omega$，所以投影之后的方差可以表示为 D ( x ) = 1 n ∑ i = 1 n ( x i T ω ) 2 = 1 n ∑ i = 1 n ( x i T ω ) T ( x i T ω ) = 1 n ∑ i = 1 n ω T x i x i T ω = ω T ( 1 n ∑ i = 1 n x i x i T ) ω D(x)=\frac{1}{n}\sum_{i=1}^{n}(x_{i}^{T}\omega)^{2}=\frac{1}{n}\sum_{i=1}^{n}(x_{i}^{T}\omega)^{T}(x_{i}^{T}\omega)=\frac{1}{n}\sum_{i=1}^{n}\omega^{T}x_{i}x_{i}^{T}\omega=\omega^{T}(\frac{1}{n}\sum_{i=1}^{n}x_{i}x_{i}^{T})\omega D(x)=n1​i=1∑n​(xiT​ω)2=n1​i=1∑n​(xiT​ω)T(xiT​ω)=n1​i=1∑n​ωTx