《机器学习》周志华(西瓜书)学习笔记 第九章 聚类

机器学习笔记

总目录

第九章 聚类

聚类是一种经典的无监督学习方法，无监督学习的目标是通过对无标记训练样本的学习，发掘和揭示数据集本身潜在的结构与规律，即不依赖于训练数据集的类标记信息。聚类则是试图将数据集的样本划分为若干个互不相交的类簇，从而每个簇对应一个潜在的类别。

9.1 距离度量

聚类性能度量亦称聚类"有效性指标" (validity index).

目标: 聚类结果的"簇内相似 度" (intra-cluster similarity)高且"簇间相似度" (inter-cluster similarity)低.

聚类性能度量大致有两类.

1. 一类是将聚类结果与某个"参考模 型" (reference model)进行比较，称为"外部指标" (external i丑dex)。
2. 另一 类是直接考察聚类结果而不利用任何参考模型，称为"内部指标" (internal index).

基于上图中得公式可以导出下面这些常用的聚类性能度量外部指标：


基于上图中的公式可以到处下面这些常用的聚类度量内部指标：

9.2 距离计算

最常用的距离度量方法是“闵可夫斯基距离”（Minkowski distance)：

当p=1时，闵可夫斯基距离即曼哈顿距离（Manhattan distance）：

当p=2时，闵可夫斯基距离即欧氏距离（Euclidean distance）：

我们常将属性划分为"连续属性" (continuous attribute)和"离散属 性" (categorical attribute)，前者在定义域上有无穷多个可能的取值，后者在定 义域上是有限个取值.

• 若属性值之间存在序关系，则可以将其转化为连续值，例如：身高属性“高”“中等”“矮”，可转化为{1, 0.5, 0}。
• 若属性值之间不存在序关系，则通常将其转化为向量的形式，例如：性别属性“男”“女”，可转化为{（1,0），（0,1）}。

对于无序属性，我们一般采用VDM进行距离的计算.

令 $m_{u,a}$表示在属性 u 上取值为 α 的样本数， $m_{u,a,i}$ 表示在第 4 个样本簇 中在属性 u 上取值为 α 的样本数， k 为样本簇数，则属性 u 上两个离散值 α 与 b 之间的 VDM 距离为:

于是，将闵可夫斯基距离和 VDM 结合即可处理混合属性.假定有 $n_c$ 个有 序属性、 $n-n_c$ 个无序属性,不失一般性，令有序属性排列在无序属性之前，则:

当样本空间中不 同属性的重要性不同时，可使用"加权距离" (weighted distance). 以加权闵可夫斯基距离为例: