轮廓系数实战:如何用Silhouette Score优化K-Means聚类

别再只盯着K-Means了!用sklearn的轮廓系数(silhouette_score)帮你选出最佳聚类算法 本文介绍了如何使用sklearn的轮廓系数(silhouette_score)科学评估和选择最佳聚类算法,从K-Means到DBSCAN的实战对比。通过量化评估聚类质量,帮助数据科学家避免直觉决策,提升模型效果。文章详细解析了轮廓系数的计算原理、应用场景及高级技巧,并提供了多维度评估框架。 阅读详情

1. 轮廓系数:不只是个分数,更是聚类的“体检报告”

很多朋友在用K-Means做聚类的时候,最头疼的问题就是:我到底应该分成几类? 你可能会说,看数据特点啊,或者凭经验猜一个。但数据不会说话,经验也常常不准。这时候,你就需要一个客观、量化的“裁判”来告诉你,你这次聚类的效果到底怎么样,以及哪个K值(聚类数量)才是最佳选择。这个裁判,就是我们今天要深入聊的轮廓系数(Silhouette Coefficient)。

我第一次接触轮廓系数,是在一个用户分群的项目里。当时我们有一批电商用户的行为数据,想把他们分成不同的价值群体。我试了K=3,K=5,K=7,每个结果看起来都“像那么回事”,但到底哪个最靠谱,团队里谁也说服不了谁。直到我用上了轮廓系数,它就像一个精准的仪表盘,清晰地告诉我:“嘿,朋友,K=5的时候,你的聚类结构最清晰、最稳定。” 从那以后,轮廓系数就成了我评估聚类效果的标配工具。

简单来说,轮廓系数是一个介于-1到1之间的值。它不仅仅给你一个最终分数,更重要的是,它从簇内紧密度和簇间分离度两个维度,对每一个数据点的归属合理性进行了评估。你可以把它想象成给每个数据点做了一次“体检”:检查它在自己所在的簇里待得舒不舒服(离同类近不远),以及它离别的簇是不是足够远(有没有被误分的风险)。最后,把所有数据点的“体检报告”平均一下,就得到了整个聚类的轮廓系数。

  • 接近1:完美!数据点在自己的簇里很团结,并且远离其他簇。聚类效果优秀。
  • 接近0:模糊。数据点处在两个簇的边界上,模棱两可。可能聚类数量不合适,或者数据本身就没有清晰的簇结构。
  • 接近-1:糟糕。数据点可能被分错了簇,它离其他簇的点反而更近。

所以,轮廓系数绝不是一个冰冷的数学公式,它是一个强大的诊断工具,能帮你从“大概也许可能”的模糊判断,走向“有数据支撑”的精准决策。接下来,我们就一起看看这个工具到底怎么用。

2. 从原理到代码:亲手算出轮廓系数

要真正用好一个工具,光知道概念不行,得知道它肚子里是怎么算的。别怕,公式不复杂,我们用大白话把它讲明白。

2.1 拆解公式:a(i) 和 b(i) 的故事

对于聚类结果中的任意一个数据点 i,轮廓系数的计算围绕两个核心距离展开:

  1. a(i) - “内部凝聚力”:计算点 i 到它所属簇内所有其他点的平均距离。这个值越小,说明点 i 在这个簇里越“如鱼得水”,簇内部越紧凑、越团结。想象一下,你在一个朋友圈子里,和每个朋友的平均亲密度很高,那你的 a(i) 就很低。

  2. b(i) - “外部排斥力”:计算点 i 到除自身所属簇外,离它最近的那个簇中所有点的平均距离。这个值越大,说明点 i 离其他“圈子”越远,簇与簇之间区分得越开。还是用朋友圈比喻,你和其他朋友圈子的平均距离很远,说明你的圈子独特性很强。

有了 a(i) 和 b(i),点 i 的轮廓系数 s(i) 就呼之欲出了:

s(i) = [b(i) - a(i)] / max{a(i), b(i)}

这个公式的设计非常巧妙:

  • 分子 b(i) - a(i) 直接衡量了“分离度”优于“紧密度”的程度。我们希望 b(i) 远大于 a(i),这样分子就是大的正数。
  • 分母 max{a(i), b(i)} 的作用是把结果标准化到 [-1, 1] 的区间内,方便我们比较。

生活化案例:假设我们用“游戏时长”和“消费金额”两个特征对玩家聚类。

  • 对于一个硬核付费玩家(点i),他的 a(i) 很小,因为他和同簇(其他硬核付费玩家)的特征很相似。
  • 他的 b(i) 很大,因为他和最近的其他簇(比如休闲免费玩家)的行为差异巨大。
  • 那么他的 s(i) 就会接近1,表明他被正确地归入了硬核付费玩家群体。

2.2 手把手代码实现:从零开始与调用sklearn

理解了原理,我们来看看代码。我强烈建议你先自己尝试实现一遍基础版本,这能加深理解。然后再用现成的库,这样效率更高。

首先,我们尝试自己实现一个简易版的轮廓系数计算:

import numpy as np
from sklearn.metrics import pairwise_distances

def simple_silhouette_score(X, labels):
    """
    手动计算轮廓系数(平均轮廓系数)
    X: 数据矩阵,形状 (n_samples, n_features)
    labels: 每个样本的簇标签,形状 (n_samples,)
    """
    n_samples = X.shape[0]
    unique_labels = np.unique(labels)
    
    # 计算所有样本两两之间的距离矩阵(欧氏距离)
    distance_matrix = pairwise_distances(X, metric='euclidean')
    
    silhouette_vals = np.zeros(n_samples)
    
    for i in range(n_samples):
        # 获取样本i所属的簇
        cluster_i = labels[i]
        # 找到同簇的所有其他样本的索引
        indices_same_cluster = np.where(labels == cluster_i)[0]
        indices_same_cluster = indices_same_cluster[indices_same_cluster != i] # 排除自己
        
        # 计算 a(i): 到同簇其他点的平均距离
        if len(indices_same_cluster) == 0:
            # 如果簇里只有自己,根据定义轮廓系数为0
            a_i = 0
        else:
            a_i = np.mean(distance_matrix[i, indices_same_cluster])
        
        # 计算 b(i): 到其他簇的最小平均距离
        b_i = np.inf # 初始化为无穷大
        for other_cluster in unique_labels:
            if other_cluster == cluster_i:
                continue # 跳过自己的簇
            # 找到属于其他簇的样本索引
            indices_other_cluster = np.where(labels == other_cluster)[0]
            # 计算到该簇所有点的平均距离
            avg_dist_to_other_cluster = np.mean(distance_matrix[i, indices_other_cluster])
            # 取最小值
            if avg_dist_to_other_cluster < b_i:
                b_i = avg_dist_to_other_cluster
        
        # 计算样本i的轮廓系数
        if max(a_i, b_i) == 0:
            s_i = 0 # 防止除零错误
        else:
            s_i = (b_i - a_i) / max(a_i, b_i)
        
        silhouette_vals[i] = s_i
    
    # 返回所有样本轮廓系数的平均值
    return np.mean(silhouette_vals)

自己写一遍,你是不是对 a(i) 和 b(i) 的计算过程更清楚了?当然,在实际项目中,我们肯定不会重复造轮子。

接下来,看看如何用 scikit-learn 轻松计算:

from sklearn.datasets import make_blobs
from sklearn.cluster import KMeans
from sklearn.metrics import silhouette_score, silhouette_samples

# 1. 生成一份模拟数据,方便我们观察
X, y_true = make_blobs(n_samples=500, centers=4, cluster_std=0.8, random_state=42)

# 2. 使用K-Means进行聚类,假设我们猜测K=4
kmeans = KMeans(n_clusters=4, random_state=42)
cluster_labels = kmeans.fit_predict(X)

# 3. 计算整体轮廓系数(最常用的指标)
overall_sil_score = silhouette_score(X, cluster_labels)
print(f"整个数据集的平均轮廓系数为: {overall_sil_score:.4f}")

# 4. 计算每个样本的轮廓系数,用于详细分析
sample_silhouette_values = silhouette_samples(X, cluster_labels)
print(f"前10个样本的轮廓系数: {sample_silhouette_values[:10]}")

运行这段代码,你会立刻得到一个介于-1到1之间的分数。如果这个分数在0.5以上,通常就说明聚类结构比较合理了。但故事还没完,单看一个分数是不够的。

3. 实战核心:用轮廓系数为K-Means选择最佳K值

这才是轮廓系数真正大放异彩的地方——确定最优聚类数K。K-Means算法需要我们预先指定K,而轮廓系数提供了一种数据驱动的方法来做选择。

3.1 方法论:遍历K值,寻找分数峰值

思路非常直接:我们设定一个K的候选范围(比如从2到10),然后对每一个K值,都运行一次K-Means聚类,并计算其对应的平均轮廓系数。最后,我们绘制一张“K值-轮廓系数”的关系图。那个能产生最高轮廓系数的K值,通常就是数据最自然、最稳定的聚类数目。

这里有个重要的实战细节:由于K-Means的初始中心点是随机选择的,可能会导致每次聚类结果略有不同。为了结果更稳定,我通常会对每个K值重复运行多次聚类(比如10次),然后取这些运行结果的平均轮廓系数作为该K值的最终得分。这样可以平滑掉随机性带来的波动。

3.2 完整代码示例与结果解读

下面是一个完整的、可以直接运行的示例,它包含了生成数据、遍历K值、重复实验和可视化。

import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import make_blobs
from sklearn.cluster import KMeans
from sklearn.metrics import silhouette_score
from sklearn.preprocessing import StandardScaler

# 设置随机种子,确保结果可复现
np.random.seed(42)

# 1. 创建一份更具挑战性的数据:4个簇,但其中两个靠得比较近
X, _ = make_blobs(n_samples=500, n_features=2, centers=4,
                  cluster_std=[1.0, 0.6, 1.2, 0.5],
                  center_box=(-8, 8), random_state=42)

# 2. 数据标准化(对于基于距离的算法,这是个好习惯)
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)

# 3. 定义K的取值范围和重复实验次数
K_range = range(2, 11)
n_repeats = 10  # 每个K值重复聚类的次数

# 4. 存储每个K值对应的轮廓系数列表
silhouette_avg_scores = []

for k in K_range:
    k_scores = []
    print(f"正在计算 K={k}...")
    for repeat in range(n_repeats):
        # 执行K-Means聚类
        kmeans = KMeans(n_clusters=k, init='k-means++', n_init=10, random_state=repeat)
        cluster_labels = kmeans.fit_predict(X_scaled)
        
        # 计算轮廓系数
        score = silhouette_score(X_scaled, cluster_labels)
        k_scores.append(score)
    
    # 计算该K值下多次实验的平均轮廓系数
    avg_score = np.mean(k_scores)
    silhouette_avg_scores.append(avg_score)
    print(f"  K={k},平均轮廓系数 = {avg_score:.4f}")

# 5. 可视化结果
plt.figure(figsize=(10, 6))
plt.plot(K_range, silhouette_avg_scores, 'bo-', linewidth=2, markersize=8)
plt.xlabel('聚类数量 K', fontsize=12)
plt.ylabel('平均轮廓系数', fontsize=12)
plt.title('利用轮廓系数选择最佳K值', fontsize=14, fontweight='bold')
plt.grid(True, linestyle='--', alpha=0.7)
plt.xticks(K_range)

# 标记出最佳K值
best_k_index = np.argmax(silhouette_avg_scores)
best_k = K_range[best_k_index]
best_score = silhouette_avg_scores[best_k_index]
plt.scatter(best_k, best_score, s=200, facecolors='none', edgecolors='r', linewidths=3)
plt.annotate(f'最佳K={best_k}\n分数={best_score:.3f}',
             xy=(best_k, best_score),
             xytext=(best_k+0.5, best_score-0.05),
             arrowprops=dict(facecolor='red', shrink=0.05, width=1.5),
             fontsize=12, color='red')

plt.tight_layout()
plt.show()

运行这段代码后,你会得到一张清晰的折线图。图的X轴是K值,Y轴是对应的平均轮廓系数。曲线通常会有一个明显的“峰值”或“拐点”。那个峰值点对应的K,就是我们寻找的最佳聚类数。

如何解读结果?

  • 曲线持续上升后下降:这是最理想的情况,峰值K就是最佳选择。
  • 曲线平缓,没有明显峰值:这可能意味着数据本身没有非常清晰的簇状结构,或者你选择的K值范围不对。可以尝试扩大K的搜索范围看看。
  • 在K=2时分数异常高:这不一定代表数据就应该分成两类。有时是因为把数据强行分成两半也能产生一个看似不错的分离度。需要结合业务逻辑和其他评估指标(如Calinski-Harabasz指数)综合判断。

在我之前的用户分群项目中,这张图清晰地显示K=5时轮廓系数最高,而K=4和K=6的分数都有所下降。这给了我们很强的信心去采用5个用户群体的方案。

4. 高级技巧与避坑指南:让轮廓系数发挥最大价值

掌握了基础用法,我们再来聊聊一些能让你事半功倍的高级技巧和常见的“坑”。

4.1 可视化神器:轮廓系数分布图(Silhouette Plot)

平均轮廓系数是一个总结性的数字,但它掩盖了细节。轮廓系数分布图可以让你看到每个簇内部轮廓系数的分布情况,是更强大的诊断工具。它能告诉你:

  • 每个簇的“健康度”是否均匀:所有簇的轮廓系数都高且分布集中吗?还是有的簇表现很好,有的簇表现很差?
  • 簇的大小是否悬殊:图中每个“刀片”的宽度代表了对应簇的样本数量。
  • 是否存在“拖后腿”的样本:可以直观看到有多少样本的轮廓系数是负的或接近0的。
from sklearn.metrics import silhouette_samples
import matplotlib.cm as cm

def plot_silhouette_diagram(X, cluster_labels, k):
    """
    绘制指定K值下的轮廓系数分布图
    """
    fig, (ax1, ax2) = plt.subplots(1, 2)
    fig.set_size_inches(16, 7)
    
    # 图1:轮廓系数分布图
    ax1.set_xlim([-0.1, 1])
    # 留出一些空间在Y轴顶部,用于分隔不同簇的图形
    ax1.set_ylim([0, len(X) + (k + 1) * 10])
    
    # 计算每个样本的轮廓系数
    sample_silhouette_values = silhouette_samples(X, cluster_labels)
    silhouette_avg = np.mean(sample_silhouette_values)
    
    y_lower = 10
    for i in range(k):
        # 获取属于第i簇的所有样本的轮廓系数,并排序
        ith_cluster_silhouette_values = sample_silhouette_values[cluster_labels == i]
        ith_cluster_silhouette_values.sort()
        
        size_cluster_i = ith_cluster_silhouette_values.shape[0]
        y_upper = y_lower + size_cluster_i
        
        color = cm.nipy_spectral(float(i) / k)
        ax1.fill_betweenx(np.arange(y_lower, y_upper),
                          0, ith_cluster_silhouette_values,
                          facecolor=color, edgecolor=color, alpha=0.7)
        
        # 在图中标注簇的编号
        ax1.text(-0.05, y_lower + 0.5 * size_cluster_i, str(i), fontsize=12)
        y_lower = y_upper + 10  # 为下一个簇留出10个单位的空白
    
    ax1.axvline(x=silhouette_avg, color="red", linestyle="--", linewidth=2)
    ax1.set_xlabel("轮廓系数值", fontsize=12)
    ax1.set_ylabel("簇标签", fontsize=12)
    ax1.set_title(f"K={k} 时的轮廓系数分布图\n红色虚线为平均值: {silhouette_avg:.3f}", fontsize=13)
    ax1.set_yticks([])  # 隐藏Y轴刻度
    
    # 图2:实际的聚类散点图(假设是二维数据)
    colors = cm.nipy_spectral(cluster_labels.astype(float) / k)
    ax2.scatter(X[:, 0], X[:, 1], marker='.', s=50, lw=0, alpha=0.7, c=colors, edgecolor='k')
    
    # 标记簇中心
    from sklearn.cluster import KMeans
    # 重新拟合以获取中心点(如果传入的cluster_labels不是KMeans结果,这部分需要调整)
    # 这里假设cluster_labels就是由同一个KMeans模型生成的
    kmeans_model = KMeans(n_clusters=k, random_state=42).fit(X)
    centers = kmeans_model.cluster_centers_
    ax2.scatter(centers[:, 0], centers[:, 1], marker='o',
                c="white", alpha=1, s=200, edgecolor='k')
    for i, c in enumerate(centers):
        ax2.scatter(c[0], c[1], marker='$%d$' % i, alpha=1, s=80, edgecolor='k')
    
    ax2.set_xlabel("特征 1", fontsize=12)
    ax2.set_ylabel("特征 2", fontsize=12)
    ax2.set_title(f"数据聚类可视化 (K={k})", fontsize=13)
    
    plt.suptitle(f"K={k} 的轮廓分析", fontsize=15, fontweight='bold')
    plt.tight_layout()
    plt.show()

# 使用之前找到的最佳K值(例如best_k=4)来绘制
best_k = 4 # 假设我们从之前的分析中得到最佳K=4
kmeans_best = KMeans(n_clusters=best_k, random_state=42).fit(X_scaled)
labels_best = kmeans_best.predict(X_scaled)
plot_silhouette_diagram(X_scaled, labels_best, best_k)

通过这张图,你不仅能确认平均分数,还能发现潜在问题。比如,如果有一个簇的“刀片”又宽(样本多)又矮(轮廓系数低),那就说明这个簇内部结构可能很松散,或者它本身就应该被拆分成更小的簇。

4.2 必须注意的“坑”与局限性

轮廓系数虽好,但也不是万能的。在实际使用中,我踩过几次坑,总结出以下几点注意事项:

  1. 计算成本:轮廓系数的计算需要样本间的距离矩阵,对于大规模数据集(例如超过10万个样本),计算开销会非常大,甚至内存不足。这时可以考虑对数据进行采样后再计算,或者使用其他计算效率更高的内部评估指标(如Calinski-Harabasz指数)进行初筛。

  2. 对簇形状的假设:轮廓系数基于样本间的距离(默认欧氏距离)。这意味着它隐式地假设簇是凸形的(比如球形、椭圆形)。如果你的数据簇是流形的、非凸的(比如月牙形、环形),K-Means本身就不太适用,轮廓系数的评估也会失效。这时应该考虑DBSCAN、谱聚类等算法。

  3. “密度”差异的误导:当数据中不同簇的密度差异很大时(一个簇里的点非常密集,另一个非常稀疏),轮廓系数可能会给出有偏差的评价。因为稀疏簇内部的平均距离 a(i) 天然就大,即使聚类正确,其轮廓系数也可能偏低。

  4. K值选择的“高原现象”:有时轮廓系数曲线在达到一个峰值后,并不会急剧下降,而是形成一个“高原”(多个连续的K值都有相近的高分)。这通常意味着数据可能存在层次化的簇结构。例如,数据可以清晰地分成3个大类,而每个大类内部又可以细分成2个小类。这时,选择K=3还是K=6,就需要结合具体的业务目标和可解释性来决定了,不能唯分数论。

  5. 务必进行数据标准化:如果特征的量纲不同(比如一个特征是“年薪(万元)”,另一个是“年龄”),直接计算距离会使得数值大的特征主导结果。在聚类前对特征进行标准化(如Z-score标准化)或归一化,是必不可少的一步。 我在代码示例中已经加入了 StandardScaler,这是一个好习惯。

轮廓系数是一个极其实用的工具,但它给出的答案需要你用经验和业务知识去审视。它告诉你“数据本身倾向于如何分组”,而你需要判断“这样的分组对我的业务是否有意义”。将数据洞察与领域知识相结合,才是做好聚类分析的关键。

轮廓系数实战:如何用Silhouette Coefficient优化K-Means聚类 本文详细介绍了如何利用轮廓系数(Silhouette Coefficient)优化K-Means聚类效果。通过实战案例和Python代码演示,展示了轮廓系数在评估聚类质量、确定最佳K值以及优化模型参数中的关键作用,帮助数据科学家提升聚类分析的准确性和业务适用性。 阅读详情

相关推荐

别再瞎调K-Means的K值了!用sklearn的silhouette_score和silhouette_samples帮你科学选簇数

本文详细介绍了如何科学选择K-Means聚类中的K值,避免凭直觉选择带来的误差。通过使用sklearn的silhouette_score和silhouette_samples方法,结合轮廓系数(Silhouette Coefficient)进行可视化诊断,帮助数据分析师和机器学习工程师更准确地确定最佳簇数。文章还提供了Python代码示例和高级技巧,适用于各种数据分布和业务场景。

weixin_28716181的博客 364

【scikit-learn】轮廓系数实战指南:如何用silhouette_score优化K-Means聚类效果

本文详细介绍了如何使用scikit-learn中的silhouette_score轮廓系数优化K-Means聚类效果。通过实战案例演示了轮廓系数的计算、解读及可视化方法,并提供了寻找最佳K值的策略与高级技巧,帮助读者提升无监督聚类的准确性和效率。

zeta9的博客 112

K-Means聚类评估:SSE与轮廓系数原理、实战与选K指南

在机器学习与数据挖掘领域,聚类分析是一种核心的无监督学习技术,用于发现数据中的内在分组结构。其核心原理是通过度量样本间的相似性,将数据划分为不同的簇,使得同一簇内样本尽可能相似,不同簇间样本尽可能不同。这项技术的核心价值在于,它能够从无标签数据中自动识别模式,为后续的探索性分析、客户分群、异常检测等任务提供基础。在实际工程中,如何科学评估聚类结果的质量并选择最佳聚类数,是避免“调参玄学”的关键。常用的内部评估指标如SSE(误差平方和)从簇内紧密度出发,而轮廓系数则综合考量了簇内紧密度与簇间分离度。特别是在K

weixin_34138056的博客 661

PaddlePaddle聚类效果评估:轮廓系数Silhouette Score计算

在无标签数据场景下,轮廓系数为聚类效果提供量化依据。借助PaddlePaddle的张量计算能力,可高效实现该指标并支持GPU加速。结合ERNIE中文语义模型与K-Means聚类,构建端到端的文本分群方案,有效解决最优簇数选择、结果可信度验证等实际问题,适用于电商、金融等领域的用户画像构建。

weixin_35639680的博客 1038

别再只盯着准确率了!用sklearn的silhouette_score和silhouette_samples给你的聚类模型做个“体检”

本文深入探讨了如何使用sklearn的silhouette_score和silhouette_samples评估聚类模型质量。通过轮廓系数这一关键指标,不仅能整体评估聚类效果,还能定位问题样本,为K-Means和DBSCAN等算法提供参数优化依据。文章结合代码示例,详细展示了如何利用这一工具提升无监督学习项目的分析效果。

weixin_33743880的博客 362

K-means聚类实战:肘部法则与轮廓系数调参指南

K-means聚类是一种基于几何中心优化的无监督学习方法,核心在于最小化簇内平方和(SSE),但其效果高度依赖K值选择、数据标准化与结构适配性。肘部法则通过识别SSE下降率断崖点来平衡模型复杂度与解释力,轮廓系数则从单样本归属感出发量化聚类内聚性与分离度,二者结合可规避‘过拟合式分簇’或‘模糊边界陷阱’。在真实场景中,如用户分群、IoT设备行为分析、地理空间聚类等任务,必须同步验证业务语义——即质心能否映射为可解释的用户画像或运营策略。本文聚焦K-means聚类、肘部法则、轮廓系数三大关键技术点,提供从数据

aikenqiu5098的博客 408

轮廓系数(Silhouette Coefficient)在聚类分析中的实战应用与优化策略

本文深入探讨了轮廓系数在聚类分析中的核心作用与实战应用。作为评估聚类质量的量化指标,轮廓系数通过衡量样本的内聚度与分离度,为K-Means等算法选择最佳K值、横向比较不同算法性能提供了客观依据。文章结合Python代码示例,详细介绍了如何利用轮廓系数优化聚类结果,并分析了其优势与局限性,是数据科学家进行聚类分析的重要参考。

read5的博客 704

K-means聚类中手肘法确定最佳K值:原理、Python实现与实战技巧

在机器学习与数据科学领域,聚类分析是一种基础且核心的无监督学习技术,旨在将相似的数据点自动分组。K-means算法因其高效和直观,成为最常用的聚类方法之一。其核心原理是通过迭代优化,最小化簇内样本到质心的距离平方和(SSE),从而形成紧凑的簇。然而,K-means需要预先指定簇的数量K,而K值的选择直接影响聚类效果和业务解释性。手肘法作为一种经典启发式方法,通过可视化SSE随K值变化的曲线,寻找SSE下降速率发生显著变化的“拐点”,以此作为最佳K值的参考。该方法在客户细分、图像分割和异常检测等场景中具有重要

weixin_30267785的博客 391

ML-For-Beginners K-Means 聚类实战:用尼日利亚音乐数据掌握 Silhouette 评分、肘部法则与惯性

本文基于 ML-For-Beginners 课程第 5 模块(Clustering)的第 2 课「K-Means clustering」编写,带你用 Scikit-learn 对一份从 Spotify 采集的尼日利亚音乐数据集执行完整的 K-Means 聚类流程:特征筛选与标签编码、按簇数遍历计算惯性(Inertia)、用肘部法则(Elbow Method)估计最优簇数 k、用轮廓系数(Silho

gitblog_00851的博客 281

K-Means与Affinity Propagation聚类算法选型实战指南

聚类分析是无监督学习的核心技术,其本质是基于数据内在结构发现自然分组。K-Means以质心为中心、计算高效但假设簇呈球形;Affinity Propagation通过消息传递选举真实样本作为代表,无需预设簇数却对相似度构造敏感。二者差异不仅在于数学原理,更体现在工程落地时的数据规模容忍度、异常值鲁棒性、结果可解释性及业务适配性。在用户分群、故障诊断、文本主题挖掘等典型场景中,算法选择需综合考量特征类型、数据量级、业务K值是否明确、是否需要真实样例代表等约束。本文聚焦工业级实践,提供从数据预处理、超参调优到结

799

聚类算法实战指南:K-Means、DBSCAN与层次聚类选型与落地

聚类是无监督学习的核心技术,本质是在无标签前提下发现数据内在结构。其原理基于距离度量、密度连通或层次关系,技术价值在于以低认知成本构建可解释的数据分组骨架,支撑用户分群、异常检测、模式挖掘等关键场景。区别于分类任务,聚类不追求预测准确率,而强调业务可理解性与后续可操作性。本文聚焦K-Means、DBSCAN和层次聚类三大主流方法,结合RFM用户分层、物联网故障识别等真实案例,解析算法假设、参数调优逻辑与典型陷阱,尤其关注K-Means++初始化优化与DBSCAN噪声点的业务价值挖掘。

alexhill2009的博客 500

Python实战:用sklearn计算轮廓系数评估你的聚类效果(附完整代码)

本文详细介绍了如何使用Python的sklearn库计算轮廓系数(Silhouette coefficient)来评估聚类效果。通过实战代码演示,从数据预处理、聚类算法选择到结果分析,帮助读者量化评估客户分群、新闻分类等任务的聚类质量,并提供了寻找最佳K值的进阶技巧。

weixin_30300225的博客 528

K-Means聚类算法原理与Python实战指南

聚类分析是机器学习中重要的无监督学习技术,通过将相似数据自动分组发现数据内在结构。K-Means作为最经典的聚类算法,其核心是通过迭代优化质心位置,最小化样本到簇中心的距离平方和。该算法在客户分群、图像压缩等领域有广泛应用,特别是处理大规模数据时效率显著。实际工程中需要注意特征标准化、K值选择和初始化策略等问题,scikit-learn提供的K-Means++和MiniBatch变种能有效提升算法稳定性。通过轮廓系数等评估指标,可以量化聚类效果并指导参数调优。

congjukun0600的博客 432

聚类有效性评估的黄金标准:silhouette系数你真的用对了吗?

掌握聚类质量评估关键方法,本文深入解析cluster包的silhouette系数原理与应用。涵盖K-means等算法的适用场景、轮廓系数计算逻辑及结果解读,助你准确判断聚类有效性。方法实用、操作清晰,值得收藏。

Algorift的博客 1195

机器学习入门:K-Means 聚类

本文是“机器学习入门”系列的第八站。前七篇我们学习的都是有监督学习——数据中带有标签,模型学习从特征到标签的映射。本篇我们将进入一个全新的领域——无监督学习。K-Means 是聚类算法中最经典、最易理解的一种,它不需要标签,仅凭数据自身的结构就能发现其中的分组模式。其核心思想是:将数据划分为 K 个簇,使得同一簇内的样本尽可能相似,不同簇的样本尽可能不同。

2301_79882046的博客 742

手机拍照也能玩高光谱?教你用TensorFlow Lite在Android上实现实时RGB转高光谱

本文介绍了如何利用TensorFlow Lite在Android设备上实现实时RGB到高光谱的图像重构技术。通过深度学习模型优化和移动端部署策略,使智能手机具备专业级光谱分析能力,适用于农业检测、化妆品分析等多个领域。

weixin_29091105的博客 247

sklearn中K-Means聚类算法的实战调优与评估指南

本文详细介绍了sklearn中K-Means聚类算法的实战调优与评估方法,涵盖核心概念、参数调优、评估指标及可视化技巧。通过电商用户分群等实际案例,展示如何确定最佳聚类数、优化初始化策略及处理大数据集,帮助读者掌握K-Means在机器学习项目中的高效应用。

weixin_33692284的博客 389

特性阻抗 – SI/PI 世界碰撞的地方

除了谐振零点和峰值外,在一定频率下,传输线的阻抗看起来像远端开路时的电容器的阻抗,也看起来像远端短路时电感的阻抗。如果随后的制造变化将测得的阻抗推到 -10% 容差的低端(例如 44 欧姆)的测量区域内,那么如果在初始下降时测量,则真正的特性阻抗将在 42 欧姆时降低 5%,并且超出规格。这意味着,当我们测量红色或蓝色图的峰和相邻谷之间的中间阻抗时,它是该频率下传输线的特性阻抗。图 7 远端开路时(红色常亮)与远端短路时(蓝色常亮)的电感和电容抗阻抗与频率的关系(上图)和传输线的阻抗与频率(下图)的对比。

jkh920184196的博客 964

速通机器学习 11| K-Means 聚类

【摘要】K-Means是一种经典无监督聚类算法,通过样本特征相似度自动分组,区别于有监督学习的分类任务。其核心流程包括:指定簇数K、计算欧式距离、迭代更新簇质心以最小化SSE损失。优化方法推荐K-Means++初始化,并采用肘部法则和轮廓系数(范围-1到1,越接近1效果越好)确定最优K值。实战中需先标准化数据,通过双评估指标选择K,最终输出聚类结果。算法适合球状分布的中小规模数据集,需注意初始化随机性和数据预处理。

2302_80153357的博客 314

深入解析EDID中Display Descriptor Block的配置技巧与实战应用

本文深入解析EDID中Display Descriptor Block的配置技巧与实战应用。通过剖析像素时钟、有效像素、消隐区与同步脉冲等核心参数,并结合1280x720@60Hz的实战配置案例,指导开发者如何正确为定制硬件或非标准显示器编写“身份证”,避免黑屏、分辨率异常等问题,确保显示设备完美点亮。

1a2s3d4f5g的博客 880

香橙派5使用RK3588S内置NPU加速yolov5推理,实时识别数字达到50fps

香橙派5采用了RK3588S,内置的NPU达到了6Tops的算力,博主这里记录一下自己的踩坑过程,好不容易做出来的不能以后忘记了(手动狗头)。这里博主还在B站上发布了效果视频,大家感兴趣的话可以看一下。其中解决了先验框标注位置不对,或者出现非常多的框的问题

weixin_51651698的博客 2万+
上一篇: Visium HD技术揭秘:单细胞级空间转录组如何重塑组织基因分布研究
下一篇: 高效管理Git凭证:从GitLab到Tortoise工具的账号切换全攻略
code8
博客等级 码龄17年 65粉丝 1720原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值