机器学习 - 降维算法总结-优快云博客

本文总结了六种机器学习中的降维算法：PCA、KPCA、MDS、Isomap、LLE和LE。每种算法都有其特点，如PCA通过线性变换找到最佳投影方向，而KPCA则用于非线性数据的降维处理。Isomap和LE等算法则更加关注数据间的相对距离和相似性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

机器学习 - 降维算法总结

上课学了这六种算法，总结一下，加强理解。
目的：将 $X:N\times d$ 映射到 $Z:N×d'$

PCA
找一个线性变换 $W，Z=W^TX$ 使得重构误差最小。
KPCA
X非线性的情况下，可以映射到合适的高维特征空间 $\phi(X)$ 之后，再对 $\phi(X)$ 使用PCA方法。但是 $\phi(X)$ 不好找，计算代价大，“对 $\phi(X)$ 使用PCA”的计算过程中可用核函数替代计算。
MDS
直接计算 $Z$ ，保持 $X$ 的点间距离在 $Z$ 空间尽可能不变。
Isomap
根据X的点间距建立邻接关系图，对于不相连的点对，计算连接其的最短路径，得到所有点对之间的测地距离。对测地距离使用MDS算法。
LLE
用 $x^{(i)}$ 的邻居的线性组合表示 $x^{(i)}$ ，求出使所有 $x$ 重构误差最小的组合系数 $w_{ij}$ 。在低维空间中， $z^{(i)}$ 同样用邻居的线性组合表示，组合系数给定为 $w_{ij}$ 。求出使所有 $z$ 重构误差最小的 $z$ 。
LE
根据 $X$ 的点间距建立邻接关系图，赋予边权重 $w_{ij}$ 。该权重是两端点相似性的一种度量。权重越大，端点越相似（越近）。在 $z$ 空间中保持这种相似关系。目标函数： $min z \sum i, j (z (i) - z (j)) 2 w i j$ $\min_z \sum_{i,j}(z^{(i)}-z^{(j)})^2w_{ij}$ 其含义为：当 $x^{(i)}、x^{(j)}$ 越相似， $z^{(i)}$ 与 $z^{(j)}$ 也应该越接近，此时 $w_{ij}$ 会比较大，则给 $(z^{(i)}-z^{(j)})^2$ 更重的惩罚。