27、聚类算法：K-Means与高斯混合模型详解

聚类算法：K-Means与高斯混合模型详解

1. 数据投影与聚类算法概述

在处理数据集时，投影结果能让我们了解数据集中数字“1”的多种形式。数据在投影空间中沿着一条宽泛的曲线分布，似乎描绘出了数字的方向。随着在图中向上移动，能发现带有“帽子”和/或“底座”的“1”，不过这些在数据集中非常稀疏。通过投影，还能识别出存在数据问题的离群点，例如混入提取图像中的相邻数字部分。虽然这本身对数字分类任务可能没有直接用处，但有助于我们理解数据，并为后续处理提供思路，比如在构建分类管道之前如何对数据进行预处理。

接下来，我们将从降维这一类别，转向另一类无监督机器学习模型——聚类算法。聚类算法旨在从数据的特性中学习，对数据点进行最优划分或离散标记。在众多聚类算法中，K-Means聚类算法是最简单易懂的，它在 sklearn.cluster.KMeans 中实现。

1.1 标准导入

%matplotlib inline 
import matplotlib.pyplot as plt 
import seaborn as sns; sns.set()  # for plot styling 
import numpy as np 

2. K-Means算法介绍

2.1 算法原理

K-Means算法在无标签的多维数据集中搜索预定数量的聚类。它基于两个简单假设来实现最优聚类：
- “聚类中心”是属于该聚类的所有点的算术平均值。
- 每个点离自己的聚类中心比离其他聚类中心更近。