PCA（主成分分析）基础

令$\Sigma = XX'$，其中$X \in R^{m \times n}$，撇表示转置。

$\Sigma$是半正定的
对$\forall x \in R^m$有$x'(XX')x = (x'X)(X'x) = (X'x)'(X'x) \ge 0$

半正定矩阵的特征值非负
$(XX')x = \lambda x \Rightarrow \lambda x'x = x'(XX')x \ge 0 \Rightarrow \lambda \ge 0$

$\Sigma$是实对称阵
$(XX')' = X''X' = XX'$

实对称阵属于不同特征值的特征向量是正交的
$Xx_1 = \lambda_1 x_1$
$Xx_2 = \lambda_2 x_2$

$\lambda_1 x_2'x_1 = x_2'Xx_1$
$= x_2'X'x_1$
$= (Xx_2)'x_1$
$= \lambda_2x_2'x_1$
$\Rightarrow (\lambda_1 - \lambda_2)(x_2'x_1) = 0$
$\Rightarrow (x_2'x_1) = 0$