主成分分析(PCA)中的误差表示

2019独角兽企业重金招聘Python工程师标准>>>

给定n个m维样本X­⁽¹⁾, X⁽²⁾,…,X⁽ⁿ⁾，假设我们的目标是将这n个样本从m维降低到k维，并且尽可能保证这种降维的操作不会产生很大的代价（重要信息的丢失）。换句话说，我们要把n个样本点从m维空间投影到k维空间。对于每一个样本点，我们都可以用下式表示此投影过程：

 

        Z=A^TX                                                                       (1)

其中X是m维样本点， Z 是投影后得到的k维样本点，A是一个 m * k 的矩阵。

 

回顾一下，如果采用主成分分析法(PCA)来进行降维的话，我们首先求出样本的均值：

再求出散布矩阵(scatter matrix)：

接着求得散布矩阵S前k大特征值所对应的特征向量s₁,s₂,…,s_k，然后对s₁,s