Python28-7.3 降维算法之多维缩放MDS

 

多维尺度分析（Multidimensional Scaling, MDS）是一种用于降维的统计技术，其目标是将高维数据嵌入到低维空间中，同时尽量保持原始数据中点与点之间的距离关系。MDS 被广泛应用于数据可视化、心理学、市场研究等领域。以下是 MDS 的详细介绍：

MDS 的基本思想

MDS 的目标是将高维数据中的点嵌入到低维（通常是二维或三维）空间中，使得在低维空间中点之间的距离尽量接近原始高维空间中点之间的距离。这通过最小化一个损失函数（通常是应力函数）来实现，应力函数衡量的是原始距离和降维后距离之间的不一致性。

MDS 的主要步骤

1. 计算距离矩阵：首先，计算原始数据点之间的距离矩阵。常用的距离度量有欧氏距离、曼哈顿距离等。

2. 选择维数：选择目标低维空间的维数，通常为二维或三维，以便于可视化。

3. 最小化应力函数：通过迭代优化方法，如梯度下降法，最小化应力函数，以找到最优的低维表示。

4. 输出低维嵌入：将高维数据点映射到低维空间中，并输出结果。

应力函数

应力函数是衡量降维后距离和原始距离之间差异的一个指标。常用的应力函数形式如下：

其中,d_ij是低维空间中点i和j之间的距离，delta_ij是高维空间中点i和j之间的距离。

MDS 的分类

1. 经典 MDS：也称为 Torgerson-Gower 缩放，直接通过特征值分解进行距离矩阵的降维。

2. 非度量 MDS：对原始数据中的距离或相似度进行非度量变换，以保留原始数据中的顺序信息，而不是精确的距离值。

MDS 的优缺点

优点：