机器学习入门（八）：主成分分析（PCA）

PCA是机器学习中常用的方法，其主要作用是降维。因为做运算的时候会遇到维度特别大的情况，如果蛮力求解会导致维度灾难。而通过降维可以有效避免这些情况的产生，同时减少运算开销。

要了解PCA首先要了解特征值及特征向量

特征值与特征向量

定义：有一个n * n的矩阵，如果存在一个非零向量$x$使得$Ax=\lambda x$，则称标量$\lambda$为特征值（Eigenvalue），而x为特征向量（Eigenvector）。

光看定义其实很抽象，到底大家常说的特征值和特征向量的本质是什么？先看这么一个问题:

某个城镇，每年30%的已婚女性离婚，且20%的单婚女性结婚。假定共有8000名已婚和2000名未婚女性，并且总人口保持不变。我们研究结婚率和离婚率保持不变时将来长时间的期望问题。

首先，很简单，一年后的女性人口比例为：
$$w_1=A{w}_0=\left[\begin{array}{cc}0.7& 0.2\\ 0.3& 0.8\end{array}\right]\left[\begin{array}{c}8000\\ 2000\end{array}\right]=\left[\begin{array}{c}6000\\ 4000\end{array}\right]$$如果觉得矩阵看着不太方便的，直接列式计算也是一样。

同理，第二年$w_2=A{w}_1=A^2{w}_0$

可以用python进行验证以下几个结果
$w_{10}=\left[\begin{array}{c}4004\\ 5996\end{array}\right]$

$w_{20}=\left[\begin{array}{c}4000\\ 6000\end{array}\right]$

$w_{30}=\left[\begin{array}{c}4000\\ 6000\end{array}\right]$

发现过了某个点之后，人口会一直保持不变，（其实这就是个马尔可夫链）。实际上，从$w_{12}$之后就一直是${\left[\begin{array}{cc}4000& 6000\end{array}\right]}^T$,并且:
$$A{w}_{12}=\left[\begin{array}{cc}0.7& 0.2\\ 0.3& 0.8\end{array}\right]\left[\begin{array}{c}4000\\ 6000\end{array}\right]=\left[\begin{array}{c}4000\\ 6000\end{array}\right]$$

A乘上一个向量，等于这个向量本身，这是不是有点眼熟，正是$Ax=\lambda x$ 只不过这里的$\lambda =1$

这里还是没有说明特征值到底是什么，接着看。

这个收敛的过程，对任意的人口分布{10000-p， p}都是成立的（p是单身人口）,也就是说，无论初始向量是否相等，最后都会得到同样的稳态向量（这里不证明这个，可自行尝试其他初始值）。选择稳态向量的倍数$x_1=(2,3{)}^T$作为一个基向量，则:
$$A{x}_1=\left[\begin{array}{cc}0.7& 0.2\\ 0.3& 0.8\end{array}\right]\left[\begin{array}{c}2\\ 3\end{array}\right]=\left[\begin{array}{c}2\\ 3\end{array}\right]=x_1$$
这里的$x1$也是个稳态向量，但是不能把同一个向量的倍数当作第二个向量，所以暂时还只有一个稳态向量。

另外一个稳态向量$x_2=(-1,1{)}^T$