29、聚类算法全解析：从层次聚类到DBSCAN

聚类算法全解析：从层次聚类到DBSCAN

1. 层次聚类概述

层次聚类是一种替代基于原型聚类的方法。它具有两个显著优点：一是可以绘制树状图（二元层次聚类的可视化），有助于通过创建有意义的分类法来解释聚类结果；二是无需事先指定聚类的数量。

层次聚类主要有两种方法：分裂式层次聚类和凝聚式层次聚类。分裂式层次聚类从包含整个数据集的一个聚类开始，逐步将其分裂成更小的聚类，直到每个聚类只包含一个样本。而凝聚式层次聚类则采取相反的方法，从每个样本作为一个单独的聚类开始，逐步合并最接近的聚类对，直到只剩下一个聚类。

2. 凝聚式层次聚类算法

凝聚式层次聚类的两种标准算法是单链接和全链接。单链接计算每对聚类中最相似成员之间的距离，并合并最相似成员距离最小的两个聚类。全链接则类似，但比较的是每对聚类中最不相似的成员来进行合并。

下面重点介绍全链接凝聚式层次聚类的步骤：
1. 计算所有样本的距离矩阵。
2. 将每个数据点表示为一个单独的聚类。
3. 根据最不相似（最远）成员之间的距离合并两个最接近的聚类。
4. 更新相似度矩阵。
5. 重复步骤2 - 4，直到只剩下一个聚类。

除了单链接和全链接，还有其他常用的凝聚式层次聚类算法，如平均链接和Ward链接。平均链接基于两个聚类中所有成员之间的最小平均距离来合并聚类对；Ward链接则合并导致总簇内平方和（SSE）增加最小的两个聚类。

3. 计算距离矩阵与应用全链接凝聚

为了进行层次聚类，首先需要计算距离矩阵。以下是生成随机数据样本并计算距离矩阵的代码：