44、无监督学习：层次聚类方法全解析

无监督学习：层次聚类方法全解析

1. 引言

在无监督学习领域，聚类是一项重要任务，旨在将数据划分为不同的组，使得同一组内的数据点具有较高的相似性，而不同组之间的数据点具有较大的差异性。层次聚类是聚类方法中的一种，它可以分为凝聚式层次聚类和分裂式层次聚类。本文将重点介绍分裂式层次聚类的相关内容，包括其基本原理、具体方法以及相关理论。

2. 分裂式层次聚类的基本原理

分裂式层次聚类最初将所有数据视为一个整体，然后使用距离度量逐步将其分裂，原则上直到每个子集仅包含一个元素。它与凝聚式层次聚类相反，二者在数学上是等价的，但不同的起始点使得不同的技术看起来更自然。

2.1 基本模板

分裂式层次聚类的基本模板如下：
1. 以样本 $\mathbf{x} i$（$i = 1, \cdots, n$）作为一个包含 $n$ 个数据点的单一聚类，并为样本中所有点对定义相异度 $d$。确定一个阈值 $t$，用于决定是否分裂聚类。
2. 计算所有数据点对之间的距离 $d(\mathbf{x}_i, \mathbf{x}_j)$，选择距离最大的点对，记为 $d {max}$。
3. 比较 $d_{max}$ 与 $t$：
- 如果 $d_{max} > t$，则将该聚类分裂为两个新聚类，所选点对分别作为两个新聚类的第一个元素。对于剩余的 $n - 2$ 个数据点，如果 $d(\mathbf{x} i, \mathbf{x} \ell) < d(\mathbf{x} j, \mathbf{x} \ell)$，则将 $\mathbf{x}