降维-主成分分析(PCA)

主成分分析（Principal Components Analysis）是由Hotelling于1933年首先提出的。由于多个纬度变量之间往往存在着一定程度的相关性。人们自然希望通过线性组合的方式，从这些指标中尽可能快地提取信息。当这些纬度变量的第一个线性组合不能提取更多的信息时，再考虑用第二个线性组合继续这个提取的过程，……，直到提取足够多的信息为止。这就是主成分分析的思想。

主成分分析适用于原有纬度变量之间存在较高程度相关的情况。在主成分分析适用的场合，一般可以用较少的主成分得到较多的信息量，从而得到一个更低维的向量。通过主成分既可以降低数据“维数”又保留了原数据的大部分信息。一项十分著名的案例是美国的统计学家斯通(Stone)在1947年关于国民经济的研究。他曾利用美国1929一1938年各年的数据，得到了17个反映国民收入与支出的变量要素，例如雇主补贴、消费资料和生产资料、纯公共支出、净增库存、股息、利息外贸平衡等等。在进行主成分分析后，竟以97.4％的精度，用3个新变量就取代了原17个变量。

一、主成分分析的几何意义

如果仅考虑$x_1$或$x_2$中的任何一个分量，那么包含在另一分量中的信息将会损失，因此，直接舍弃$x_1$或$x_2$分量不是“降维”的有效办法。

对坐标轴进行旋转，$n$个点在$F_1$轴上的方差达到最大，即在此方向上包含了有关$n$个样本的最大量信息。因此，欲将二维空间的点投影到某个一维方向上，则选择$F_1$轴方向能使信息的损失最小。

第一主成分的效果与椭圆的形状有关。椭圆越扁平，$n$个点在$F_1$轴上的方差就相对越大，在$F_2$轴上的方差就相对越小，用第一主成分代替所有样品造成的信息损失就越小。原始变量不相关时，主成分分析没有效果

原始变量相关程度越高，主成分分析效果越好。

PCA的几何意义即是将原始坐标系进行旋转变换，然后将数据映射到新的坐标系，再根据一定标准去掉值较小的纬度，留下值较大的纬度–主成分。

二、主成分分析的数学模型

对于$p$维数据$\textbf{x}_i=(x_{i1};x_{i2};\ldots;x_{ip})$，假定投影变换后得到的新坐标系是$\{\textbf{w}_1,\textbf{w}_2,\ldots,\textbf{w}_p\}$，其中$\textbf{w}_i$是标准正交基向量（$||\textbf{w}_i||_2=0,\textbf{w}^{T}_i \textbf{w}_j=0,其中i \neq j$）。若丢弃新坐标系中的部分坐标，即将数据维度降低到$p^{'}<p$，则样本点$\textbf{x}_i$在低维新坐标系中的投影为$\textbf{x}^{'}_i=(x^{'}_{i1};x^{'}_{i2};\ldots;x^{'}_{ip^{'}})$，其中

x′i1x′i2x