25、基于距离的聚类与层次聚类方法解析

基于距离的聚类与层次聚类方法解析

1. 基于距离的聚类概述

在基于距离的情境下，无监督学习通常指的是聚类。我们将回顾一些基于距离的聚类方法，这些方法都是基于样本的，因此具有预测性，能够自然地推广到未见过的实例。

1.1 k近邻与回归问题

当k近邻用于回归问题时，聚合k个邻居预测值的常见方法是取平均值，还可以进行距离加权。这样可以通过预测存储样本中未观察到的值，增强模型的预测能力。更一般地，只要有合适的多目标值“聚合器”，就可以将k均值应用于任何学习问题。

1.2 聚类的目标与散度矩阵

预测性基于距离的聚类方法使用与基于距离的分类器相同的要素：距离度量、构建样本的方法和基于距离的决策规则。在没有明确目标变量的情况下，假设距离度量间接编码了学习目标，目标是找到相对于距离度量紧凑的聚类。这需要一个聚类紧凑性的概念作为优化标准，这里引入散度矩阵。

给定数据矩阵X，散度矩阵S定义为：
[S = (X - 1\mu)^T(X - 1\mu) = \sum_{i = 1}^{n}(X_{i\cdot} - \mu)^T(X_{i\cdot} - \mu)]
其中，(\mu)是包含X所有列均值的行向量。X的散度定义为(Scat(X) = \sum_{i = 1}^{n} ||X_{i\cdot} - \mu||^2)，等于散度矩阵的迹（即其对角元素之和）。

假设将数据D划分为K个子集(D_1 \cup \cdots \cup D_K = D)，(\mu_j)表示(D_j)的均值，S是D的散度矩阵，(S_j)是(D_j)的散度矩阵，则有：
[S = \sum_{j = 1}^{K}