无监督学习：聚类算法实战指南
项目地址: https://gitcode.com/gh_mirrors/100/100-Days-Of-ML-Code 本文全面介绍了无监督学习中的核心聚类算法，包括K均值聚类和层次聚类的原理、实现步骤、数学基础及评估方法。通过多个真实数据集案例，详细演示了从数据预处理、算法选择、参数调优到结果评估的完整流程，为读者提供了从理论到实践的全面指导。
K均值聚类算法原理
K均值聚类（K-Means Clustering）是最经典且广泛使用的无监督学习算法之一，它通过迭代优化将数据集划分为K个互不重叠的簇。该算法的核心思想是通过最小化数据点与其所属簇中心之间的平方距离来实现聚类。
算法基本概念
K均值聚类基于一个简单而强大的假设：相似的数据点应该聚集在一起，形成紧凑且分离良好的簇。算法需要预先指定簇的数量K，然后通过以下步骤进行迭代优化：
算法步骤详解
- 初始化阶段：随机选择K个数据点作为初始聚类中心（质心）
- 分配阶段：将每个数据点分配到距离最近的聚类中心所在的簇
- 更新阶段：重新计算每个簇的质心（即该簇所有数据点的均值）
- 迭代优化：重复步骤2和3，直到质心不再发生显著变化或达到最大迭代次数
数学原理与目标函数
K均值聚类的目标是最小化所有数据点与其所属簇质心之间的平方距离之和，这个目标函数被称为簇内平方和（Within-Cluster Sum of Squares, WCSS）：
$$ J = \sum_{i=1}^{K} \sum_{x \in C_i} |x - \mu_i|^2 $$
其中：
- $K$ 是簇的数量
- $C_i$ 是第 $i$ 个簇
- $\mu_i$ 是第 $i$ 个簇的质心
- $x$ 是数据点
- $|x - \mu_i|^2$ 是数据点 $x$ 与质心 $\mu_i$ 之间的欧几里得距离平方
距离度量方法
K均值聚类默认使用欧几里得距离作为距离度量，其计算公式为：
$$ d(x, \mu) = \sqrt{\sum_{j=1}^{n} (x_j - \mu_j)^2} $$
其中 $n$ 是特征维度。在实际应用中，也可以根据数据特性选择其他距离度量方法，如曼哈顿距离、余弦相似度等。
算法特性分析
优点：
- 计算效率高：算法的时间复杂度为 $O(n \times K \times I \times d)$，其中 $n$ 是样本数，$K$ 是簇数，$I$ 是迭代次数，$d$ 是维度
- 实现简单：算法逻辑清晰，易于理解和实现
- 可扩展性强：适用于大规模数据集
局限性：
- 需要预先指定K值：在实际应用中确定合适的K值是一个挑战
- 对初始质心敏感：不同的初始质心可能导致不同的聚类结果
- 假设簇为凸形：对于非凸形状的簇效果不佳
- 对异常值敏感：异常值可能显著影响质心的计算
关键参数与调优
主要参数：
| 参数 | 描述 | 默认值 | 影响 |
|---|---|---|---|
| n_clusters | 簇的数量K | 8 | 直接影响聚类结果 |
| init | 初始化方法 | 'k-means++' | 影响收敛速度和结果质量 |
| max_iter | 最大迭代次数 | 300 | 控制算法运行时间 |
| tol | 收敛阈值 | 1e-4 | 控制收敛精度 |
初始化方法比较：
- 随机初始化：简单但可能得到次优解
- K-means++：智能初始化，通常能获得更好的初始质心
- 预定义质心：根据先验知识指定初始质心
收敛性证明
K均值算法保证收敛，因为：
- 分配步骤不会增加目标函数值
- 更新步骤通过计算均值来最小化簇内平方和
- 目标函数有下界（≥0）
- 每次迭代都使目标函数值减小或保持不变
由于目标函数单调递减且有下界，算法最终会收敛到局部最优解。
实际应用考虑
数据预处理：
- 标准化：由于使用欧几里得距离，需要对数据进行标准化处理
- 缺失值处理：需要处理或填充缺失值
- 异常值检测：识别并处理可能影响聚类效果的异常点
算法变种：
- K-medoids：使用实际数据点作为中心，对异常值更鲁棒
- Mini-batch K-means：适用于大规模数据集的近似算法
- Fuzzy C-means：允许数据点属于多个簇的软聚类方法
K均值聚类算法以其简洁性和有效性，成为无监督学习领域的基础算法，为后续更复杂的聚类方法奠定了重要基础。理解其数学原理和运行机制对于正确应用和解释聚类结果至关重要。
层次聚类方法与实现
层次聚类（Hierarchical Clustering）是一种重要的无监督学习方法，它通过构建数据的层次结构来形成聚类。与K-means等划分式聚类方法不同，层次聚类不需要预先指定聚类数量，而是通过树状图（dendrogram）来展示数据的层次关系，让用户可以直观地选择最适合的聚类划分。
层次聚类的基本原理
层次聚类主要分为两种类型：凝聚式（Agglomerative）和分裂式（Divisive）。凝聚式层次聚类采用自底向上的策略，开始时将每个样本点视为一个单独的簇，然后逐步合并最相似的簇，直到所有样本点合并为一个簇。分裂式层次聚类则采用自顶向下的策略，开始时将所有样本点视为一个簇，然后逐步分裂为更小的簇。
凝聚式层次聚类算法流程
距离度量与链接准则
层次聚类的核心在于如何定义簇间的距离，常用的链接准则包括：
| 链接准则 | 计算公式 | 特点 | ||||
|---|---|---|---|---|---|---|
| 单链接（Single Linkage） | $d(C_i, C_j) = \min_{x \in C_i, y \in C_j} d(x, y)$ | 对噪声敏感，容易产生链式效应 | ||||
| 全链接（Complete Linkage） | $d(C_i, C_j) = \max_{x \in C_i, y \in C_j} d(x, y)$ | 产生紧凑的球形簇 | ||||
| 平均链接（Average Linkage） | $d(C_i, C_j) = \frac{1}{ | C_i | C_j | } \sum_{x \in C_i} \sum_{y \in C_j} d(x, y)$ | 平衡单链接和全链接的特点 | |
| 沃德法（Ward's Method） | 最小化合并后的簇内方差增量 | 倾向于产生大小相近的簇 | ||||
Python实现层次聚类
使用Scikit-learn和SciPy库可以轻松实现层次聚类：
import numpy as np
import matplotlib.pyplot as plt
from scipy.cluster.hierarchy import dendrogram, linkage
from sklearn.datasets import make_blobs
from sklearn.cluster import AgglomerativeClustering
# 生成示例数据
X, y = make_blobs(n_samples=300, centers=4, cluster_std=0.60, random_state=0)
# 使用SciPy进行层次聚类
linked = linkage(X, 'ward') # 使用Ward方法
# 绘制树状图
plt.figure(figsize=(10, 7))
dendrogram(linked,
orientation='top',
distance_sort='descending',
show_leaf_counts=True)
plt.title('层次聚类树状图')
plt.xlabel('样本索引')
plt.ylabel('距离')
plt.show()
# 使用Scikit-learn进行凝聚聚类
cluster = AgglomerativeClustering(n_clusters=4, affinity='euclidean', linkage='ward')
cluster_labels = cluster.fit_predict(X)
# 可视化聚类结果
plt.scatter(X[:, 0], X[:, 1], c=cluster_labels, cmap='rainbow')
plt.title('层次聚类结果')
plt.show()
树状图的解读与聚类数选择
树状图是层次聚类的核心输出，它展示了样本之间的层次关系：
通过观察树状图中最长的垂直线段（即距离变化最大的地方），可以确定最佳的聚类数量。也可以设置一个距离阈值，在阈值处切割树状图来获得聚类结果。
层次聚类的优缺点分析
优点：
- 无需预先指定聚类数量：通过树状图可以直观选择
- 提供层次结构信息：展示数据的多层次分组关系
- 可视化效果好：树状图便于理解和解释
- 对数据分布假设较少：适用于各种形状的簇
缺点：
- 计算复杂度高：时间复杂度为O(n³)，不适合大规模数据
- 对噪声和异常值敏感：可能影响整个聚类结构
- 合并决策不可逆：一旦合并就不能撤销
- 内存消耗大：需要存储整个距离矩阵
实际应用场景
层次聚类在多个领域都有广泛应用：
- 生物信息学：基因表达数据分析，物种分类
- 文档聚类：新闻分类，主题发现
- 图像分割：基于颜色或纹理特征的区域划分
- 社交网络分析：社区发现，用户分群
- 市场细分：客户行为模式分析
性能优化技巧
对于大规模数据集，可以采用以下优化策略：
# 使用近似算法加速计算
from sklearn.cluster import FeatureAgglomeration
# 批量处理或采样
# 使用更高效的距离计算方法
# 采用并行计算加速
# 示例：使用FeatureAgglomeration进行特征聚类
agglo = FeatureAgglomeration(n_clusters=2)
X_reduced = agglo.fit_transform(X)
与其他聚类算法的比较
| 算法 | 是否需要指定K | 处理大规模数据 | 簇形状 | 鲁棒性 |
|---|---|---|---|---|
| K-means | 是 | 好 | 球形 | 中等 |
| DBSCAN | 否 | 中等 | 任意 | 好 |
| 层次聚类 | 否 | 差 | 任意 | 差 |
| 高斯混合模型 | 是 | 中等 | 椭圆形 | 中等 |
层次聚类作为一种经典的聚类方法，虽然在大数据场景下面临挑战，但其提供的层次化视角和可视化能力使其在数据探索和模式发现中仍然具有不可替代的价值。通过合理选择距离度量和链接准则，结合树状图的解读，可以获得有意义的聚类结果。
聚类效果评估指标
在无监督学习的聚类算法中，由于缺乏明确的标签信息，如何客观评估聚类结果的质量成为了一个重要挑战。聚类评估指标为我们提供了量化聚类效果的方法，帮助我们判断不同聚类算法或参数配置的优劣。本文将深入探讨几种主流的聚类效果评估指标，包括内部指标、外部指标和相对指标。
内部评估指标
内部评估指标仅基于数据集本身的特征和聚类结果进行评估，不需要外部标签信息，是最常用的聚类评估方法。
轮廓系数 (Silhouette Coefficient)
轮廓系数是衡量聚类质量最常用的指标之一，它结合了聚类的凝聚度和分离度。对于每个样本点，轮廓系数计算公式如下：
$$s(i) = \frac{b(i) - a(i)}{\max{a(i), b(i)}}$$
其中：
- $a(i)$ 是样本 $i$ 到同簇其他样本的平均距离（凝聚度）
- $b(i)$ 是样本 $i$ 到最近邻簇中所有样本的平均距离（分离度）
轮廓系数的取值范围为 $[-1, 1]$，值越接近1表示聚类效果越好。
from sklearn import datasets
from sklearn.cluster import KMeans
from sklearn.metrics import silhouette_score
# 生成示例数据
X, _ = datasets.make_blobs(n_samples=500, centers=4, cluster_std=0.60, random_state=0)
# 使用K-means聚类
kmeans = KMeans(n_clusters=4, random_state=0)
labels = kmeans.fit_predict(X)
# 计算轮廓系数
silhouette_avg = silhouette_score(X, labels)
print(f"轮廓系数: {silhouette_avg:.4f}")
Calinski-Harabasz指数
Calinski-Harabasz指数通过类间离散度与类内离散度的比值来评估聚类质量：
$$CH = \frac{\text{tr}(B_k)}{\text{tr}(W_k)} \times \frac{n - k}{k - 1}$$
其中：
- $B_k$ 是类间离散度矩阵
- $W_k$ 是类内离散度矩阵
- $n$ 是样本总数
- $k$ 是聚类数量
值越大表示聚类效果越好。
from sklearn.metrics import calinski_harabasz_score
ch_score = calinski_harabasz_score(X, labels)
print(f"Calinski-Harabasz指数: {ch_score:.4f}")
Davies-Bouldin指数
Davies-Bouldin指数基于簇内距离和簇间距离的比值：
$$DB = \frac{1}{k} \sum_{i=1}^{k} \max_{j \neq i} \left( \frac{\sigma_i + \sigma_j}{d(c_i, c_j)} \right)$$
其中：
- $\sigma_i$ 是簇 $i$ 中所有点到质心的平均距离
- $d(c_i, c_j)$ 是簇 $i$ 和簇 $j$ 质心之间的距离
值越小表示聚类效果越好。
from sklearn.metrics import davies_bouldin_score
db_score = davies_bouldin_score(X, labels)
print(f"Davies-Bouldin指数: {db_score:.4f}")
外部评估指标
当有真实标签可用时，可以使用外部评估指标来比较聚类结果与真实分类的一致性。
调整兰德指数 (Adjusted Rand Index)
调整兰德指数衡量两个数据划分之间的一致性，考虑了随机分配的影响：
$$ARI = \frac{RI - E[RI]}{\max(RI) - E[RI]}$$
其中RI是兰德指数，取值范围为 $[-1, 1]$，值越大表示聚类结果与真实标签越一致。
from sklearn.metrics import adjusted_rand_score
# 假设有真实标签 true_labels
ari_score = adjusted_rand_score(true_labels, labels)
print(f"调整兰德指数: {ari_score:.4f}")
互信息 (Mutual Information)
互信息衡量两个随机变量之间的相互依赖程度：
$$MI(U,V) = \sum_{i=1}^{|U|} \sum_{j=1}^{|V|} P(i,j) \log \left( \frac{P(i,j)}{P(i)P(j)} \right)$$
调整互信息(AMI)对互信息进行了标准化处理。
from sklearn.metrics import adjusted_mutual_info_score
ami_score = adjusted_mutual_info_score(true_labels, labels)
print(f"调整互信息: {ami_score:.4f}")
同质性、完整性和V测度
这三个指标从不同角度评估聚类质量：
- 同质性(Homogeneity)：每个簇只包含单个类的成员
- 完整性(Completeness)：给定类的所有成员分配到同一个簇
- V测度(V-measure)：同质性和完整性的调和平均
from sklearn.metrics import homogeneity_score, completeness_score, v_measure_score
homogeneity = homogeneity_score(true_labels, labels)
completeness = completeness_score(true_labels, labels)
v_measure = v_measure_score(true_labels, labels)
print(f"同质性: {homogeneity:.4f}")
print(f"完整性: {completeness:.4f}")
print(f"V测度: {v_measure:.4f}")
相对评估指标
相对评估指标通过比较不同聚类配置的结果来选择最佳参数。
肘部法则 (Elbow Method)
肘部法则通过绘制不同k值对应的聚类误差（如SSE）来选择最佳聚类数：
import matplotlib.pyplot as plt
sse = []
k_range = range(1, 11)
for k in k_range:
kmeans = KMeans(n_clusters=k, random_state=0)
kmeans.fit(X)
sse.append(kmeans.inertia_)
plt.figure(figsize=(10, 6))
plt.plot(k_range, sse, 'bo-')
plt.xlabel('聚类数量 (k)')
plt.ylabel('SSE (Sum of Squared Errors)')
plt.title('肘部法则')
plt.grid(True)
plt.show()
间隙统计量 (Gap Statistic)
间隙统计量比较实际数据的聚类误差与参考分布的期望误差：
$$Gap(k) = E[\log W_k^*] - \log W_k$$
选择使Gap(k)最大的k值。
评估指标选择指南
不同场景下应选择合适的评估指标：
| 场景类型 | 推荐指标 | 说明 |
|---|---|---|
| 无标签数据 | 轮廓系数、CH指数、DB指数 | 内部指标，仅基于数据特征 |
| 有真实标签 | ARI、AMI、V测度 | 外部指标，与真实标签比较 |
| 确定最佳k值 | 肘部法则、间隙统计量 | 相对指标，比较不同配置 |
| 高维数据 | 轮廓系数、CH指数 | 对维度不敏感 |
| 噪声数据 | DB指数 | 对噪声鲁棒性较好 |
综合评估示例
在实际应用中，通常需要结合多个指标进行综合评估：
def evaluate_clustering(X, labels, true_labels=None):
"""综合评估聚类效果"""
results = {}
# 内部指标
results['silhouette'] = silhouette_score(X, labels)
results['calinski_harabasz'] = calinski_harabasz_score(X, labels)
results['davies_bouldin'] = davies_bouldin_score(X, labels)
# 如果有真实标签，计算外部指标
if true_labels is not None:
results['adjusted_rand'] = adjusted_rand_score(true_labels, labels)
results['adjusted_mutual_info'] = adjusted_mutual_info_score(true_labels, labels)
results['homogeneity'] = homogeneity_score(true_labels, labels)
results['completeness'] = completeness_score(true_labels, labels)
results['v_measure'] = v_measure_score(true_labels, labels)
return results
# 使用示例
evaluation_results = evaluate_clustering(X, labels, true_labels)
for metric, value in evaluation_results.items():
print(f"{metric}: {value:.4f}")
聚类评估流程
完整的聚类评估应该遵循以下流程：
注意事项
在使用聚类评估指标时需要注意以下几点：
- 指标局限性：每个指标都有其假设和局限性，不应单独依赖某一个指标
- 数据尺度：某些指标对数据尺度敏感，需要进行标准化处理
- 聚类形状：不同指标对簇形状的敏感性不同
- 噪声处理：噪声数据会影响大多数评估指标的准确性
- 计算复杂度：某些指标在大数据集上的计算成本较高
通过合理选择和组合使用这些评估指标，可以更全面、客观地评估聚类算法的效果，为模型选择和参数调优提供科学依据。
实际数据集聚类案例分析
聚类分析作为无监督学习的核心方法，在实际数据挖掘项目中具有广泛应用价值。通过分析真实数据集，我们可以深入理解聚类算法的工作原理、参数调优技巧以及结果评估方法。本节将基于多个典型数据集，详细演示K-means和层次聚类的实际应用。
数据集概览与预处理
首先让我们了解项目中提供的几个关键数据集的基本特征：
| 数据集名称 | 样本数量 | 特征维度 | 数据类型 | 适用场景 |
|---|---|---|---|---|
| Social_Network_Ads | 400 | 3 | 数值型 | 用户分群 |
| 50_Startups | 50 | 5 | 混合型 | 企业分类 |
| Data.csv | 10 | 3 | 数值型 | 小样本测试 |
| studentscores | 28 | 2 | 数值型 | 教育分析 |
import pandas as pd
import numpy as np
from sklearn.cluster import KMeans
from sklearn.preprocessing import StandardScaler
import matplotlib.pyplot as plt
# 加载数据集示例
def load_and_preprocess_data(file_path):
data = pd.read_csv(file_path)
print(f"数据集形状: {data.shape}")
print(f"特征信息:\n{data.info()}")
print(f"描述性统计:\n{data.describe()}")
# 数据标准化
scaler = StandardScaler()
scaled_data = scaler.fit_transform(data.select_dtypes(include=[np.number]))
return scaled_data, data
K-means聚类实战：Social_Network_Ads数据集
Social_Network_Ads数据集包含400个样本，每个样本有年龄、预估薪资和购买行为三个特征。这是一个典型的用户分群案例。
# K-means聚类实现
def kmeans_clustering_analysis(data, n_clusters=3):
kmeans = KMeans(n_clusters=n_clusters, random_state=42, n_init=10)
clusters = kmeans.fit_predict(data)
# 聚类结果分析
cluster_centers = kmeans.cluster_centers_
inertia = kmeans.inertia_
print(f"聚类中心:\n{cluster_centers}")
print(f"聚类内平方和: {inertia}")
return clusters, kmeans
# 肘部法则确定最佳K值
def find_optimal_k(data, max_k=10):
inertias = []
k_values = range(1, max_k + 1)
for k in k_values:
kmeans = KMeans(n_clusters=k, random_state=42, n_init=10)
kmeans.fit(data)
inertias.append(kmeans.inertia_)
plt.figure(figsize=(10, 6))
plt.plot(k_values, inertias, 'bo-')
plt.xlabel('Number of clusters (K)')
plt.ylabel('Inertia')
plt.title('Elbow Method For Optimal K')
plt.grid(True)
plt.show()
return inertias
层次聚类实战：50_Startups数据集
50_Startups数据集包含50家初创公司的数据，适合使用层次聚类进行企业分类分析。
from scipy.cluster.hierarchy import dendrogram, linkage
from sklearn.cluster import AgglomerativeClustering
def hierarchical_clustering_analysis(data, n_clusters=3):
# 生成连接矩阵
linked = linkage(data, method='ward')
# 绘制树状图
plt.figure(figsize=(12, 8))
dendrogram(linked, orientation='top',
distance_sort='descending',
show_leaf_counts=True)
plt.title('Hierarchical Clustering Dendrogram')
plt.xlabel('Sample index')
plt.ylabel('Distance')
plt.show()
# 层次聚类
hierarchical = AgglomerativeClustering(n_clusters=n_clusters,
affinity='euclidean',
linkage='ward')
clusters = hierarchical.fit_predict(data)
return clusters, linked
聚类结果可视化与分析
def visualize_clusters(data, clusters, title="Cluster Visualization"):
plt.figure(figsize=(12, 8))
if data.shape[1] >= 2:
# 2D散点图
plt.scatter(data[:, 0], data[:, 1], c=clusters,
cmap='viridis', alpha=0.7, edgecolors='k')
plt.xlabel('Feature 1 (Standardized)')
plt.ylabel('Feature 2 (Standardized)')
else:
# 1D分布图
unique_clusters = np.unique(clusters)
for cluster in unique_clusters:
cluster_data = data[clusters == cluster]
plt.hist(cluster_data, alpha=0.7,
label=f'Cluster {cluster}', bins=20)
plt.legend()
plt.title(title)
plt.grid(True)
plt.colorbar(label='Cluster')
plt.show()
# 聚类质量评估
from sklearn.metrics import silhouette_score, calinski_harabasz_score
def evaluate_clustering_quality(data, clusters):
silhouette_avg = silhouette_score(data, clusters)
calinski_score = calinski_harabasz_score(data, clusters)
print(f"轮廓系数: {silhouette_avg:.3f}")
print(f"Calinski-Harabasz指数: {calinski_score:.3f}")
return silhouette_avg, calinski_score
实际应用案例流程
聚类算法参数调优表
| 参数 | K-means | 层次聚类 | 推荐值 | 说明 |
|---|---|---|---|---|
| n_clusters | 必需 | 必需 | 2-10 | 聚类数量 |
| init | k-means++ | - | k-means++ | 初始化方法 |
| n_init | 10 | - | 10 | 运行次数 |
| max_iter | 300 | - | 300 | 最大迭代次数 |
| linkage | - | ward | ward | 连接方法 |
| affinity | - | euclidean | euclidean | 距离度量 |
典型业务场景应用
电商用户分群案例：
# 基于用户行为的聚类分析
def customer_segmentation_analysis(user_data):
# 选择关键行为特征
features = ['purchase_frequency', 'avg_order_value', 'recency']
X = user_data[features]
# 数据标准化
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)
# 确定最佳聚类数
inertias = find_optimal_k(X_scaled, max_k=8)
# 应用K-means聚类
optimal_k = 4 # 根据肘部法则确定
kmeans = KMeans(n_clusters=optimal_k, random_state=42, n_init=10)
clusters = kmeans.fit_predict(X_scaled)
# 分析各聚类特征
user_data['cluster'] = clusters
cluster_profiles = user_data.groupby('cluster')[features].mean()
return clusters, cluster_profiles
通过实际数据集的聚类分析，我们可以发现不同算法在不同场景下的表现特性。K-means适合处理大规模数值数据，而层次聚类则更适合需要层次结构解释的场景。关键是要根据业务需求和数据特性选择合适的算法，并通过多种评估指标验证聚类效果。
总结
聚类分析作为无监督学习的重要分支，在实际数据挖掘项目中具有广泛应用价值。本文系统性地介绍了K均值聚类和层次聚类两大经典算法，涵盖了算法原理、数学基础、实现步骤和评估方法。通过多个真实数据集的实战案例，展示了完整的聚类分析流程，包括数据预处理、特征选择、参数调优和结果解释。掌握这些聚类技术不仅有助于发现数据中的内在模式，还能为业务决策提供有力支持，是数据科学家必备的核心技能之一。
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
