主成分分析（PCA）

过程

1、1对原始数据进行标准化

$$x_{i}=\frac{X_{i}-\bar{X_{i}}}{S_{i}}$$

协方差：

$$Cov(X,Y)=\frac{\sum_{i=1}^{n}(X_{i}- \bar{X})(Y_{i}-\bar{Y})}{n-1}=E\left[ (X_{i}-E(x))(Y_{i}-E(Y))\right]$$

相关系数：

$$Corr(X,Y)=\frac{Cov(X,Y)}{\sqrt{var(X)}\sqrt{var(Y)}}=\frac{Cov(X,Y)}{\sigma_{x}\sigma_{y}}$$

1.2计算协方差矩阵

$$C_{n\times n}=(c_{i,j},c_{i,j}=cov(Dim_{i},Dim_{j}))$$
若数据集有{$x,y,z$}三个维度，则协方差矩阵为
$$C=\begin{pmatrix} &cov(x,x) &cov(x,y) &cov(x,z)\\ &cov(y,x) &cov(y,y) &cov(y,z)\\ &cov(z,x) &cov(z,y) &cov(z,z)\\ \end{pmatrix}$$

1.3计算特征值和特征向量

1.4计算贡献率和累计贡献率

贡献率

$$\frac{\lambda_{i}}{\sum_{k=1}^{p}\lambda_{k}}(i=1,2,...,p)$$
累计贡献率
$$\frac{ \sum_{k=1}^{i} \lambda_{i}}{\sum_{k=1}^{p}\lambda_{k}}(i=1,2,...,p)$$

2、原理

2.1 最大方差理论

在信号处理中认为信号具有较大的方差，噪声有较小的方差。如下图，样本在横轴上的投影方差较大，在纵轴上的投影方差较小，那么认为纵轴上的投影是由噪声引起的。

下面将样本投影到某一维上，这里用一条过原点的直线表示（前处理的过程实质是将原点移到样本点的中心点）。

假设我们选择两条不同的直线做投影，那么左右两条中哪个好呢？根据我们之前的方差最大化理论，左边的好，因为投影后的样本点之间方差最大

2.2公式推导

投影点的方差为：

$$\frac{1}{m}\sum_{i=1}^{m}(x^{(i)T}u)^{2}=\frac{1}{m}\sum_{i=1}^{m}u^{T}x^{(i)}x^{(i)T}u=u^{T}\left ( \frac{1}{m}\sum_{i=1}^{m}x^{(i)}x^{(i)T}\right )u\tag{2.1}$$

$u为单位向量|u|=1,所以投影点到远点距离：$

$$|x^{i}|\cdot cos\theta=|x^{i}|\cdot \frac{x^{(i)T}u}{|x^{i}|\cdot|u|}=x^{(i)T}u$$

$令\lambda=\frac{1}{m}\sum_{i=1}^{m}(x^{(i)T}u)^{2},\lambda为点到此向量投影的方差$。

$令\Sigma =\frac{1}{m}\sum_{i=1}^{m}x^{(i)}x^{(i)T}，因为x^{(i)}的均值等于0，所以\Sigma 为数据的协方差矩阵。$

所以2.1能改写成如下形式：

$$\lambda=u^{T}\Sigma u\tag{2.2}$$

$由于u是单位向量，即u^{T}u=1，上式两边都左乘u,u\lambda=\lambda u=uu^{T}\Sigma u=\Sigma u，最终得到：$

$$\lambda u = \Sigma u\tag{2.3}$$

$\lambda 为\Sigma的特征值，u为特征向量。最近的投影直线是特征值\lambda最大时对应的特征向量。$

$$y_{i}=\begin{bmatrix} &u_{1}^{T} x^{(i)}\\ &u_{2}^{T} x^{(i)} \\ &\vdots \\ &u_{k}^{T} x^{(i)} \end{bmatrix} \in \mathbb{R}\tag{2.4}$$