主成分分析

韩明宇

于 2019-06-03 15:20:59 发布

阅读量404

点赞数

CC 4.0 BY-SA版权

分类专栏：数学基础

本文链接：https://blog.youkuaiyun.com/qq_37098526/article/details/90751655

数学基础专栏收录该内容

6 篇文章

订阅专栏

协方差

1.协方差

期望值分别为E[X]与E[Y]的两个实随机变量X与Y之间的协方差Cov(X,Y)：

$Cov(X,Y)=E[(X-E[X])(Y-E[Y])]=E[XY]-E[X]E[Y]$

2.协方差矩阵

设 $X=(X_{1},X_{2},...,X_{N})^{T}$ 为n维随机变量，称矩阵：

$C=(c_{ij})_{n\times n}=\begin{bmatrix} c_{11} &c_{12} &... &c_{1n} \\ c_{21} &c_{22} &... &c_{2n} \\ ... &... &... &... \\ c_{n1} &c_{n2} &... &c_{nn} \end{bmatrix}$

为n维随机变量X的协方差矩阵，其中 $c_{ij}=Cov(X_{i},X_{j}),i,j=1,2,...,n$ 为X的分量 $X_{i}$ 和 $X_{j}$ 的协方差。

意义

在力求数据信息丢失最少的原则下,对高维的变量空间降维,即研究指标体系的少数几个线性组合,并且这几个线性组合所构成的综合指标将尽可能多地保留原来指标变异方面的信息。这些综合指标就称为主成分。

数学模型

假设我们所讨论的实际问题中,有p个指标,我们把这p个指标看作p个随机变量,记为X 1 ,X 2 ,...,X p ,主成分分析就是要把这p个指标的问题,转变为讨论p个指标的线性组合的问题,而这些新的指标F 1 ,F 2 ,...,F k (k≤p),按照保留主要信息量的原则充分反映原指标的信息,并且相互独立。

推导

设X的协方差矩阵为 $\Sigma _{X}=\begin{bmatrix} \sigma_{1}^{2} &\sigma_{12} &... &\sigma_{1p} \\ \sigma_{21} &\sigma_{2}^{2} &... &\sigma_{2p} \\ ... &... &... &... \\ \sigma_{p1} &\sigma_{p2} &... &\sigma_{p}^{2} \end{bmatrix}$ ，由于 $\Sigma _{X}$ 为非负定的对称阵，必存在正交阵U，使得 $U^{T}\Sigma _{X}U=\begin{bmatrix} \lambda _{1} & &0 \\ &... & \\ 0 & &\lambda _{p} \end{bmatrix}$

其中 $\lambda _{1},\lambda _{2},...,\lambda _{p}$ 为 $\Sigma _{X}$ 的特征根，不妨假设 $\lambda _{1} \geqslant \lambda _{2}\geqslant ...\geqslant \lambda _{p}$ ，而U恰好是由特征根相对应的特征向量所组成的正交阵：

$U=(u_{1},...,u_{p})=\begin{bmatrix} u_{11} &u_{12} &... &u_{1p} \\ u_{21} &u_{22} &... &u_{2p} \\ ... &... &... &... \\ u_{p1} &u_{p2} &... &u_{pp} \end{bmatrix}$ ，这里，由U的第一列元素 $u_{1}$ 所构成为原是变量的线性组合有最大的方差：