主成分分析系列（二）为什么特征向量是主成分

在主成分分析系列（一）概览及数据为何要中心化这篇文章中介绍了PCA算法的大概想法及数据为何要中心化，在这篇文章具体推导PCA算法的过程。

1. 首先 PCA 最原始的想法是：

• 设 $\mathbf{V}$ 为 $d$ 维 线性空间（即${\mathbb{R}}^d$），$\mathbf{W}$ 为 $\mathbf{V}$ 的 $k$ 维线性子空间（$k<d$）。在 $\mathbf{W}$ 中找到数据 D = { x 1 , x 2 , … x n } \mathbf{D}=\{ \mathbf{x_1},\mathbf{x_2},\dots \mathbf{x_n} \} D={ x1​,x2​,…xn​} 最准确的表达。${\mathbf{x}}_{\mathbf{i}}\in {\mathbb{R}}^d,i=1,\dots ,n$

• 一组 $d$ 维向量 { e 1 , e 2 , … , e k } \{\mathbf {e_1,e_2,…,e_k}\} { e1​,e2​,…,ek​}，它形成 $\mathbf{W}$的一组正交基 。在$\mathbf{W}$空间中的任何向量都可以被表示为 ${\sum }_{i=1}^k{\alpha }_i{\mathbf{e}}_i$

• 那么向量 ${\mathbf{x}}_1$可以被表示为
  ∑ i = 1 k α 1 i e i \sum_{i=1}^{k}\alpha_{1i} \mathbf{e}_{i}