主成分分析|因子分析

原创

于 2024-08-17 16:08:34 发布 · 1.2k 阅读

27 ·

CC 4.0 BY-SA版权

文章标签：

#算法 #数学建模

在处理实际问题中，在很多情况下，不同指标之间可能存在一定的相关性，即变量反映样本的信息有一定重叠
由于指标较多再加上信息的重叠，势必增加了问题的复杂性
希望通过克服相关性、重叠性，用较少的变量代替原来较多的变量，而这些较少的变量可以反映原来众多变量的大部分信息，这实际上是一种降维的思想

主成分分析

主成分分析是一种通过降维技术将多个变量化为少数几个主成分的统计分析方法。这些主成分通常表示为原始变量的某种线性组合，能够反映原始变量的绝大部分信息
主成分分析在几何上是一个坐标转换，在二维空间中有明显的几何意义

示例

假设共有n个样品，每个样品有两个指标 $x_{1},x_{2}$ ，在坐标系中，这n个点沿 $x_{1}$ 和 $x_{2}$ 方向都有较大的分量，若仅考虑其中一个分量，包含在另一分量中的信息将会损失，因此直接舍弃某个分量不是降维的有效方法
若将该坐标系按逆时针方向旋转某个角度 $θ\theta$ 编程新坐标系，变换公式为
$\left\{\begin{matrix} Y_{1}=X_{1}\cos \theta+X_{2}\sin \theta \\ Y_{2}=-X_{1}\sin \theta+X_{2}\cos \theta \end{matrix}\right.$
![[Pasted image 20240815163557.png]]

总体主成分的数学模型

设 $X=(X1,X2,…,XP)TX=(X_{1},X_{2},\dots,X_{P})^{T}$ 为P维随机向量
$cov(X)=\sum=(\sigma_{ij})_{p\times p}=E[(X-E(x))(X-E(x))^{T}]$
为其协方差矩阵，是非负定矩阵
构造的线性组合
$Y_{1}=a_{1}^{T}X=a_{11}X_{1}+a_{12}X_{2}+\dots+a_{1p}X_{p}$
确定
$a_{1}=(a_{11},a_{12},\dots,a_{1p})^{T}$
$Var(Y_{1})=Cov(a_{1}^{T}X,a_{1}^{T}X)=a_{1}^{T}\sum a_{1}$
使得 $Var(Y_{1})$ 达到最大

必须对 $a_{1}$ 加以限制，否则 $Var(Y_{1})$ 无界。如 $a_{1}^{T}a_{1}=1$
如此确定的随机变量 $Y_{1}=a_{1}^{T}X$ 称为X的第一主成分

如果第一主成分在 $Y_{1}$ 方向上的分散性还不足以反映原变量的分散性
则构造
$Y_{2}=a_{2}^{T}X=a_{21}X_{1}+a_{22}X_{2}+\dots+a_{2p}X_{p}$
限制 $a_{2}^{T}a_{2}=1$
满足
$Cov(Y_{1},Y_{2})=Cov(a_{1}^{T}X,a_{2}^{T}X)=a_{1}^{T}\sum a_{2}=0$
$a_{2}$ 的模是1， $Y_{1},Y_{2}$ 不相关
使得 $Var(Y_{2})$ 达到最大
如此确定的随机变量 $Y_{2}$ 称为 $X$ 的第二主成分
一般地 $Y1,Y2,…,Yk−1Y_{1},Y_{2},\dots,Y_{k-1}$ 还不足以反映原变量的信息
则构造
$Y_{k}=a_{k}^{T}X=a_{k1}^{T}X_{1}+a_{k2}^{T}X_{2}+\dots+a_{kp}X_{p}$
限制 $a_{k}^{T}a_{k}=1$
$Cov(Y_{k},Y_{i})=Cov(a_{k}^{T}X,a_{i}^{T}X)=a_{k}^{T}\sum a_{i}=0(i=1,2,\dots,k-1)$
使得 $Var(Y_{k})$ 达到最大
如此确定的随机变量 $Y_{k}$ 称为X的第k主成分

按照上述方法，最多可以构造出p个方差大于0的主成分

总体主成分的求法

$∑\sum$ 是 $X=(X1,X2,…,Xp)TX=(X_{1},X_{2},\dots,X_{p})^{T}$ 的协方差矩阵，其特征值按大小顺序排列为 $λ1≥λ2≥⋯≥λp≥0\lambda_{1}\ge \lambda_{2}\ge \dots \ge \lambda_{p} \ge 0$ ，相应的正交单位化特征向量为 $e1,e2,…,epe_{1},e_{2},\dots,e_{p}$ ，则X的第k个主成分为
$Y_{k}=e_{k}^{T}X=e_{k1}X_{1}+e_{k2}X_{2}+\dots+e_{kp}X_{p}$