22、机器学习中的降维与无监督学习技术

机器学习中的降维与无监督学习技术

1. 降维技术概述

在处理数据时，降维是一项重要的技术。图中节点间的测地距离是指两节点间最短路径上的节点数。下面介绍几种常见的降维算法：

1.1 Isomap

Isomap 算法先通过将每个实例与其最近邻连接来创建图，然后在尝试保留实例间测地距离的同时降低数据的维度。

1.2 t - 分布随机邻域嵌入（t - SNE）

t - SNE 算法在降低维度时，会尽量使相似的实例靠近，不相似的实例远离。它主要用于可视化，特别是在高维空间中可视化实例的聚类，例如将 MNIST 图像可视化为二维。

1.3 线性判别分析（LDA）

LDA 本质上是一种分类算法，但在训练过程中，它会学习类之间最具区分性的轴，这些轴可用于定义一个超平面，将数据投影到该超平面上。这样做的好处是投影后能使类之间尽可能分开，因此在运行其他分类算法（如 SVM 分类器）之前，LDA 是一种很好的降维技术。

1.4 降维练习

为了更好地理解和应用这些降维技术，以下是一些相关的练习：
1. 降维的动机与缺点 ：思考降低数据集维度的主要动机以及可能带来的主要缺点。
2. 维度灾难 ：理解什么是维度灾难。
3. 维度还原 ：探讨在数据集维度降低后，是否可以逆转该操作，如果可以，具体方法是什么；如果不可以，原因是什么。
4. PCA 与非线性数据集 ：分析 PCA 是否可用于