主成分分析（PCA，Principal Component Analysis）

数据降维方法

降维方法	线性or非线性	监督方式
主成分分析（Principal Component Analysis，PCA ）	线性	无监督
MDS	线性	无监督
LDA	线性	有监督
等距离映射（isometric mapping，ISOMAP）	非线性
局部线性嵌入（Local Linear Embedding，LLE）	非线性

PCA主要思想和原理

样本$X$和样本$Y$的协方差：
$Cov(X,Y)=\frac{{\sum }_{i=1}^n(X_i-\bar{X})(Y_i-\bar{Y})}{n-1}$

对于一批$n$维的数据，其协方差矩阵为：
$Cov=\left[\begin{array}{ccc}cov(x,x)& cov(x,y)& cov(x,z)\\ cov(y,x)& cov(y,y)& cov(y,z)\\ cov(z,x)& cov(z,y)& cov(z,z)\end{array}\right]$

若$AX=\lambda X$，则称$\lambda$是$A$的特征值，$X$是对应的特征向量。实际上可以这样理解：矩阵$A$作用在它的特征向量$X$上，仅仅使得$X$的长度发生了变化，缩放比例就是相应的特征值$\lambda$。

当$A$是$n$阶可逆矩阵时，$A$与$P^{-1}AP$相似，相似矩阵具有相同的特征值。

特别地，当$A$是对称矩阵时，$A$的奇异值等于$A$的特征值，存在正交矩阵$Q$（$Q^{-1}=Q^T$）使得：
$Q^{T}AQ=\left[\begin{array}{ccc}{\lambda }_1& & \\ & {\lambda }_2& \\ & & {\lambda }_3\end{array}\right]$

对A进行奇异值分解就能求出所有特征值和Q矩阵。

A∗Q=Q∗D,D是由特征值组成的对角矩阵

由特征值和特征向量的定义知，Q的列向量就是A的特征向量。