PCA

PCA的基本思想：基于最大可分性，即使得投影后的样本点尽可能分开，则需要最大化投影点的方差。

另一种解释是基于最近重构性。
找到一个正交变换$A$，使得$y=A(x-m_x)$，则通过$y$可以重构$x$，即$x=A^{T}y+m_x$。假设x是一个随机向量，维度为$m$，现在有$n$个样本$x_1,x_2,...,x_n$。求出协方差矩阵$C$，$C$为实对称矩阵，可以对角化$C_y=AC{A}^T$。
执行变换$y=A(x-m_x)$，A为正交矩阵，通过$y$可以完全重构出$x$。若取A的前$k$行，可以以最小化误差重构$A$。

算法流程：
（1）构建X：将每个样本作为矩阵的一列，构建$m\times n$列的矩阵$X=[x_1,x_2,...,x_n]$。
（2）零均值化：计算出样本均值$x_m$，令每个样本减去均值$X=X-repmat(m_x,1,n)$。
（3）求协方差矩阵：$C=\frac{1}{m}X{X}^T$
（4）求协方差矩阵的特征值和特征向量
（5）将特征向量按特征值从大到小排列成矩阵（每一行是一个特征向量），取前$k$行构建矩阵A。
（6）执行变换$Y=AX$。

参考资料：

1. 图文并茂的PCA教程
2. 主成分分析（PCA）原理详解
3. PCA的数学原理