PCA和LDA

PCA与LDA降维技术解析

最新推荐文章于 2025-01-10 09:49:36 发布

原创最新推荐文章于 2025-01-10 09:49:36 发布 · 200 阅读

0 ·

CC 4.0 BY-SA版权

经典机器学习专栏收录该内容

16 篇文章

订阅专栏

本文深入探讨了PCA（主成分分析）与LDA（线性判别分析）两种常用的降维技术。PCA通过最大方差理论，将样本投影到新坐标系中，使投影值分散最大化；LDA则通过最大化类间距离与类内距离比，实现对类别信息的最优保留。文章详细介绍了这两种方法的步骤与原理，包括中心化、协方差矩阵求解、特征值和特征向量的计算，以及如何利用拉格朗日乘子法解决最优化问题。

PCA:

把样本点投影到新的坐标系里，使得在这几个维度上的投影值，分散得开（也就是方差大）；

步骤：

1. 中心化 （所有样本，每个维度都减去该维度得均值）

2. 求样本协方差矩阵 （因为各个维度得均值 $\mu [i]$ 都等于0，所以可以把(x[i]-u[i])化简为x[i] )

3. 求该协方差矩阵的所有特征值 $\lambda$ 和对应的特征向量 $\mu$

4. 取最大的k个特征值对应的特征向量 $\mu$ 们，就是该样本集的主成分们；

5. 把样本映射到k个特征向量上，得到k个新的维度值；点到直线的投影： $\frac{x\cdot u}{|u|}$ ，因为|u|=1(单位向量), 所以化简为 $x\cdot u$

综上，主成分找到了，数据降维也完成了。

原理推导：

最大方差理论：样本投影到主成分上，方差最大化；

1. 投影后的方差，是所有样本的 $((x-mean_x)\cdot u-mean_u)^2$ 的均值，因为x经过中心化，所以 $mean_x=0$ 向量，而 $(x-mean_x)\cdot u$ 的均值也是0向量，所以等价于 $(x\cdot u)^2$

2. 把 $(x\cdot u)^2$ 化为 $u^{T}xx^{T}u$ , 再把 $\frac{1}{m}\sum_{i=1}^{m}$ 放到中间两项的前面，可把中间两项化成协方差矩阵 $\Sigma$ , 即求解 $u^{T}\Sigma u$ 的最大值

3. 现在要求 $u^{T}\Sigma u$ 的最大值，且有条件|u|=1, 则视为带约束的最优化问题，可用拉格朗日法求解；（ $u^{T}\Sigma u$ 转成- $u^{T}\Sigma u$ 求最小值即可）

4. 拉格朗日法， $L=-u^{T}\Sigma u+\alpha (u^{T}u-1)$ , L对u求导=0，得到 $\Sigma u=\alpha u$ , 所以 $\alpha$ 是 $\Sigma$ 的特征值，u是 $\Sigma$ 的特征向量；

5. 4的 $\Sigma u$ 带入 $u^{T}\Sigma u$ ，得到 $u^{T}\alpha u$ , 等于 $\alpha$ ；在所有值里选最大的，其对应的特征向量就是使得投影方差最大的主成分；选第2大的，就是使得投影方差第2大的主成分，......

LDA:

用拉格朗日乘子法求带等式约束的最优化问题，清晰易懂；

关键式子：（a和b都是列向量，a是方向向量w, b是样本x或者类别均值向量u)

$(a\cdot b)^{2}=(a^{T}\cdot b)^{2}=(a^{T}\cdot b)(a^{T}\cdot b)=(a^{T}\cdot b)(a^{T}\cdot b)^{T}=(a^{T}\cdot b)(b^{T}\cdot a)=a^{T}bb^{T}a$

LDA的目标：最大化（异类样例的均值在目标方向的投影点间距 / 所有类别的同类样本和均值投影到目标方向后的方差之和）

写成 $J = \frac{w^{T}S_{b}w}{w^{T}S_{w}w}$ ...(1), 把分母固定等于1，最小化负分子，用拉格朗日，对w求导=0，解得 $S_{b}w=\lambda S_{w}w$ , 即 $\lambda = \frac{S_{b}w}{S_{w}w}$ ...(2); $S_{w}^{-1}S_{b}w=\lambda w$ ; 所以 $\lambda$ 是特征值时, 式子成立；把(2)带入(1)，得J = $\lambda$ ; 所以当 $\lambda$ 是最大特征值时，J最大；