本文介绍了主成分分析（PCA）的基础知识，包括协方差的概念和矩阵的特征值、特征向量。解释了PCA的目标是通过降维保持数据的信息损失最小，详细阐述了PCA的数学原理，并提到了在人脸识别中的应用。最后，提到了MATLAB程序作为PCA实现的参考。
一、基础知识
假设两个样本X、Y，它们的均值分别为 X ‾ \overline{X} X、 Y ‾ \overline{Y} Y，样本X和样本Y的协方差为：
C o v ( X , Y ) = ∑ i = 1 n ( X i − X ‾ ) ( Y i − Y ‾ ) n − 1 Cov(X,Y) = \frac{\sum_{i=1}^{n}(X_i-\overline{X})(Y_i-\overline{Y})}{n-1} Cov(X,Y)=n−1∑i=1n(Xi−X)(Yi−Y)
协方差为正时说明X和Y是正相关，协方差为负时X和Y是负相关1，协方差为0时X和Y相互独立。
若 X W = λ W XW=\lambda W XW=λW，则称 λ \lambda λ是X的特征值，W是对应的特征向量。 X W XW XW的结果等同于 W W W按系数 λ \lambda λ的缩放。当X是n阶可逆对称矩阵时，存在正交 Q Q Q ( Q − 1 = Q T Q^{-1}=Q^T Q−1=QT)，使得：
Q T X Q = ( λ 1 0 ⋯ 0 0 λ 2 ⋯ 0 ⋮ ⋮ ⋱ ⋮ 0 0 ⋯ λ n ) Q^T X Q = \begin {pmatrix} \lambda_1 & 0 & \cdots &0 \\ 0 & \lambda_2 & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & \lambda_n \end {pmatrix} QTXQ=⎝⎜⎜⎜⎛λ10⋮00λ2⋮0⋯⋯⋱⋯00⋮λn⎠⎟⎟⎟⎞
最低0.47元/天 解锁文章
扫一扫
257
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
