14、无监督学习中的聚类算法详解

无监督学习中的聚类算法详解

在无监督学习领域，聚类算法是一种重要的技术，它可以将数据对象分组到不同的簇中。本文将详细介绍几种常见的聚类算法，包括 k-means 聚类、模糊 k-means 聚类和层次聚类。

1. 聚类方法概述

在实际应用中，一个数据对象可能属于一个或多个簇。为了解决这个问题，现有的聚类方法引入了模糊集理论的概念。模糊聚类算法允许对象以不同的隶属度同时属于多个簇。

此外，还有一些不同的聚类方法，如单特征和多特征聚类方法、确定性和概率性聚类方法。单特征聚类算法逐个使用数据集的特征或对象进行聚类，而多特征聚类算法则同时使用所有数据集特征进行聚类。确定性聚类方法以确定的方式将数据对象分组到簇中，而概率性方法则根据概率将对象分配到某个簇。

2. k-means 聚类算法

k-means 聚类算法是一种简单且常用的无监督学习算法，由 MacQueen 在 1967 年提出。该算法将给定的未标记数据集分类为预定义数量的 k 个簇。

2.1 几何直觉与质心

k-means 聚类算法的基本目标是定义 k 个质心，每个簇一个质心。这些预定义的质心应该巧妙放置，因为质心的不同位置会产生不同的输出。更好的方法是使质心彼此尽可能远。

一旦确定了质心的位置，数据集中的点就会与最近的质心关联。这个过程会重复进行，直到所有点都与某个质心关联。这是分组或聚类的第一阶段。完成第一阶段后，会计算一组新的 k 个质心，然后根据新的质心再次进行聚类。这个迭代过程会一直重复，直到当前迭代中的 k 个新质心与上一次迭代中评估的 k 个质心没有变化为止。

最终形成簇后，会评估目标函数。在这种情况下，