从K-Means到GMM:5种聚类算法对比实测,哪种最适合你的数据?

第一章:Python数据聚类实战

在数据分析与机器学习领域,聚类是一种无监督学习方法,用于发现数据中的自然分组结构。Python凭借其丰富的科学计算库,成为实现聚类算法的首选语言之一。本章将使用scikit-learn和matplotlib完成一个完整的K-means聚类实战案例。

环境准备与数据生成

首先确保安装必要的依赖包:
pip install numpy matplotlib scikit-learn
接下来生成模拟的二维数据集,便于可视化聚类效果:
import numpy as np
from sklearn.datasets import make_blobs

# 生成包含3个簇的样本数据
X, _ = make_blobs(n_samples=300, centers=3, cluster_std=0.8, random_state=42)
# X 是形状为 (300, 2) 的特征矩阵

K-means聚类实现

使用scikit-learn的KMeans类执行聚类分析:
from sklearn.cluster import KMeans

# 设置聚类数量为3
kmeans = KMeans(n_clusters=3, random_state=42)
y_pred = kmeans.fit_predict(X)  # 拟合并预测簇标签

结果可视化

通过matplotlib绘制聚类结果:
import matplotlib.pyplot as plt

plt.scatter(X[:, 0], X[:, 1], c=y_pred, cmap='viridis', s=50)
plt.scatter(kmeans.cluster_centers_[:, 0], kmeans.cluster_centers_[:, 1], 
            c='red', marker='x', s=200, label='Centroids')
plt.legend()
plt.title("K-means Clustering Result")
plt.show()

聚类性能评估指标

常用的内部评估指标包括轮廓系数和惯性值(inertia):
  • 惯性值:所有点到其所属簇中心的平方距离之和
  • 轮廓系数:衡量样本与其自身簇和其他簇的分离程度,取值范围[-1, 1]
指标scikit-learn属性/函数说明
惯性值kmeans.inertia_值越小表示簇内紧凑性越高
轮廓系数silhouette_score(X, y_pred)接近1表示聚类效果良好

第二章:K-Means聚类算法原理与实现

2.1 K-Means算法核心思想与数学原理

核心思想
K-Means是一种基于距离的无监督聚类算法,其目标是将数据集划分为K个簇,使得每个数据点归属于最近的簇中心。算法通过最小化簇内样本到质心的平方误差和来实现聚类。
数学原理
设数据集为 $ \{x_1, x_2, ..., x_n\} $,K个簇中心为 $ \{\mu_1, \mu_2, ..., \mu_K\} $,目标函数为:

J = \sum_{i=1}^{K} \sum_{x \in C_i} \|x - \mu_i\|^2
其中 $ C_i $ 表示第i个簇,$ \mu_i $ 是该簇的均值(质心)。
算法流程
  1. 初始化:随机选择K个初始质心
  2. 分配:将每个点分配给最近的质心
  3. 更新:重新计算每个簇的质心
  4. 迭代:重复步骤2-3直至质心不再显著变化

2.2 使用scikit-learn实现K-Means聚类

快速入门K-Means模型构建
在scikit-learn中,K-Means聚类可通过KMeans类轻松实现。首先导入必要模块并准备数据:
from sklearn.cluster import KMeans
from sklearn.datasets import make_blobs

# 生成模拟数据
X, _ = make_blobs(n_samples=300, centers=4, cluster_std=0.6, random_state=0)
上述代码生成包含300个样本、4个簇的二维数据,用于后续聚类分析。
模型训练与参数解析
配置K-Means模型时,关键参数包括n_clusters(簇数量)和init(初始化方式):
kmeans = KMeans(n_clusters=4, init='k-means++', n_init=10, random_state=0)
kmeans.fit(X)
labels = kmeans.labels_
centers = kmeans.cluster_centers_
其中,k-means++优化初始质心选择,减少收敛迭代次数;n_init指定多次随机初始化以提升稳定性。

2.3 聚类效果评估:轮廓系数与肘部法则

在无监督学习中,聚类效果的量化至关重要。由于缺乏真实标签,需依赖内部指标评估簇的紧致性与分离性。
轮廓系数(Silhouette Score)
轮廓系数衡量样本与其所属簇内其他点的接近程度,以及与其他簇的分离程度。其值介于 -1 到 1 之间,越接近 1 表示聚类效果越好。
from sklearn.metrics import silhouette_score
from sklearn.cluster import KMeans

score = silhouette_score(X, labels)
print(f"轮廓系数: {score:.3f}")
该代码计算给定数据 X 和聚类标签 labels 的平均轮廓系数。高分表明簇内紧凑、簇间分离。
肘部法则(Elbow Method)
通过绘制不同 k 值对应的簇内平方和(WCSS),寻找“肘部”拐点以确定最优簇数。
  • 计算多个 k 值下的 WCSS
  • 绘制曲线并识别下降趋势变缓的拐点
该方法虽直观,但有时拐点不明显,需结合轮廓系数综合判断。

2.4 K-Means在真实数据集上的应用实战

加载与预处理鸢尾花数据集
使用scikit-learn内置的鸢尾花数据集进行聚类分析,首先对特征进行标准化处理以消除量纲影响。
from sklearn.datasets import load_iris
from sklearn.preprocessing import StandardScaler
from sklearn.cluster import KMeans

# 加载数据
iris = load_iris()
X = iris.data

# 标准化
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)
StandardScaler确保各特征处于同一数量级,避免花瓣长度等大范围特征主导聚类结果。
执行K-Means聚类
设定聚类数k=3,调用KMeans算法拟合数据:
kmeans = KMeans(n_clusters=3, random_state=42, n_init='auto')
labels = kmeans.fit_predict(X_scaled)
参数n_init='auto'提升收敛稳定性,random_state保证结果可复现。输出的labels即为每个样本的簇归属。

2.5 算法局限性分析与改进思路

常见性能瓶颈
在高维数据场景下,传统算法如K-means易受初始中心点影响,导致收敛至局部最优。此外,距离度量对异常值敏感,影响聚类效果。
改进策略示例
采用K-means++初始化可优化质心选择。以下为关键代码片段:

# 使用scikit-learn实现K-means++
from sklearn.cluster import KMeans
kmeans = KMeans(n_clusters=3, init='k-means++', n_init=10)
kmeans.fit(X)
其中,init='k-means++'确保初始中心点分布更合理,n_init控制重复运行次数以提升稳定性。
  • 引入降维预处理(如PCA)缓解维度灾难
  • 结合DBSCAN识别噪声点,增强鲁棒性

第三章:高斯混合模型(GMM)深入解析

3.1 GMM的概率生成模型与EM算法

高斯混合模型(Gaussian Mixture Model, GMM)是一种常用的概率生成模型,假设数据由多个高斯分布线性组合而成。每个成分对应一个聚类中心,通过隐变量表示样本所属的分布成分。
模型数学表达
GMM的概率密度函数为:

p(x) = Σk=1K πk · N(x | μk, Σk)
其中,πk 是第k个高斯成分的先验权重,μk 和 Σk 分别为其均值和协方差矩阵。
EM算法迭代优化
由于隐变量存在,直接最大似然估计困难,采用期望最大化(EM)算法分两步迭代:
  • E步:计算后验概率 γ(znk) = P(zn=k | xn)
  • M步:更新参数 μk, Σk, πk 以最大化期望似然
该过程持续直至收敛,实现对复杂分布的有效建模。

3.2 基于GaussianMixture的聚类实现

高斯混合模型原理
GaussianMixture(高斯混合模型,GMM)是一种基于概率分布的软聚类方法,假设数据由多个高斯分布线性组合而成。与KMeans硬聚类不同,GMM输出样本属于各类的概率,更适合处理重叠簇。
代码实现与参数解析
from sklearn.mixture import GaussianMixture
import numpy as np

# 生成示例数据
X = np.array([[1, 2], [1, 4], [2, 2], [8, 8], [9, 8]])

# 构建GMM模型
gmm = GaussianMixture(n_components=2, covariance_type='full', random_state=42)
labels = gmm.fit_predict(X)
probs = gmm.predict_proba(X)
其中,n_components指定聚类数量,covariance_type控制协方差矩阵结构('full'表示各簇可拥有任意形状),fit_predict返回最可能的类别标签,而predict_proba输出后验概率分布。
核心优势对比
  • 支持软聚类,提供概率形式的隶属度
  • 能拟合非球形、重叠的数据簇
  • 通过BIC/AIC可辅助选择最优组件数

3.3 GMM与K-Means的对比实验分析

算法原理差异
K-Means基于距离最小化进行硬聚类,每个样本仅属于一个簇;而GMM(高斯混合模型)采用概率框架实现软聚类,通过EM算法估计各成分的均值、协方差及混合系数,支持更复杂的分布建模。
实验设置与结果对比
在二维合成数据集上,分别运行两种算法。以下为Python代码示例:

from sklearn.mixture import GaussianMixture
from sklearn.cluster import KMeans

# K-Means模型
kmeans = KMeans(n_clusters=3, random_state=42)
labels_kmeans = kmeans.fit_predict(X)

# GMM模型
gmm = GaussianMixture(n_components=3, covariance_type='full', random_state=42)
labels_gmm = gmm.fit_predict(X)
其中,covariance_type='full' 表示每个簇可学习任意协方差结构,提升对非球形分布的适应能力。
性能评估指标
使用轮廓系数和调整兰德指数(ARI)进行量化比较:
算法轮廓系数ARI
K-Means0.580.72
GMM0.650.81
结果显示GMM在复杂结构数据中具备更强的表达能力。

第四章:其他主流聚类算法实战对比

4.1 层次聚类:凝聚过程与树状图分析

层次聚类是一种无需预先指定簇数量的聚类方法,其中凝聚式层次聚类(Agglomerative Clustering)从每个样本作为独立簇开始,逐步合并最相似的簇,直至所有样本归属于一个簇。
凝聚过程步骤
  1. 将每个数据点视为一个独立的簇
  2. 计算所有簇之间的距离(常用欧氏距离)
  3. 合并距离最近的两个簇
  4. 更新簇间距离矩阵
  5. 重复步骤3-4,直到所有点合并为一个簇
树状图(Dendrogram)分析
树状图可视化了聚类过程中簇的合并顺序和距离。通过设定高度阈值,可切割树状图以获得特定数量的簇。
from scipy.cluster.hierarchy import dendrogram, linkage
import matplotlib.pyplot as plt

# 使用linkage生成凝聚层次结构
linked = linkage(data, method='ward')  # method: 'single', 'complete', 'average', 'ward'
dendrogram(linked)
plt.title("Hierarchical Clustering Dendrogram")
plt.xlabel("Sample Index")
plt.ylabel("Distance")
plt.show()
上述代码中,linkage 函数执行凝聚聚类,参数 method='ward' 最小化簇内方差,适合球形簇结构。树状图帮助识别自然的簇划分层级。

4.2 DBSCAN:基于密度的噪声鲁棒聚类

DBSCAN(Density-Based Spatial Clustering of Applications with Noise)通过识别高密度区域将数据点聚类,同时有效识别孤立点作为噪声。
核心概念与参数
算法依赖两个关键参数:
  • eps (ε):邻域半径,决定某点周围多大范围内视为“邻近”;
  • minPts:成为核心点所需的最小邻域点数。
算法流程示意
核心点 → 扩展密度可达路径 → 形成簇 → 剩余点标记为噪声
from sklearn.cluster import DBSCAN
import numpy as np

X = np.array([[1, 2], [2, 2], [2, 3], [8, 8], [8, 9], [25, 8]])
clustering = DBSCAN(eps=3, minPts=2).fit(X)
print(clustering.labels_)  # 输出: [0 0 0 1 1 -1]
代码中,前三个点形成簇0,第4、5个点构成簇1,最后一个点因孤立被标记为-1(噪声)。

4.3 谱聚类:图论视角下的非凸结构发现

谱聚类通过构建数据点之间的相似性图,将聚类问题转化为图分割问题,擅长识别传统K-means难以处理的非凸分布结构。
核心步骤流程
  1. 构造相似度矩阵(如高斯核)
  2. 生成图拉普拉斯矩阵
  3. 对拉普拉斯矩阵进行特征分解
  4. 利用前k个最小非零特征向量进行K-means聚类
代码实现示例
from sklearn.cluster import SpectralClustering
sc = SpectralClustering(n_clusters=3, affinity='rbf', gamma=0.1)
labels = sc.fit_predict(X)
该代码使用径向基函数(RBF)核构建相似性矩阵,gamma控制邻居影响范围。SpectralClustering自动完成拉普拉斯矩阵构造与谱分解过程。
性能对比
算法凸形结构非凸结构
K-means✅ 高效准确❌ 易失败
谱聚类⚠️ 可用✅ 表现优异

4.4 多种算法在不同数据形态下的性能对比

常见算法在典型数据分布中的表现
在面对均匀分布、偏态分布和聚集型数据时,不同算法展现出显著差异。快速排序在均匀数据中表现优异,而归并排序在偏态数据中更稳定。
算法均匀数据(ms)偏态数据(ms)聚集数据(ms)
快速排序120280200
归并排序150160155
堆排序180175190
代码实现与关键参数分析
// 快速排序核心逻辑
func QuickSort(arr []int) []int {
    if len(arr) <= 1 {
        return arr
    }
    pivot := arr[len(arr)/2]
    left, mid, right := []int{}, []int{}, []int{}
    for _, v := range arr {
        if v < pivot {
            left = append(left, v)
        } else if v == pivot {
            mid = append(mid, v)
        } else {
            right = append(right, v)
        }
    }
    return append(QuickSort(left), append(mid, QuickSort(right)...)...)
}
该实现采用三路分区策略,pivot选择中位值以提升在聚集数据下的效率。递归分治降低平均时间复杂度至 O(n log n),但在最坏情况下退化为 O(n²)。

第五章:总结与聚类算法选型建议

业务场景驱动的算法选择
在电商用户分群中,若数据分布呈球状且簇大小相近,K-Means 表现优异。以下为典型实现示例:

from sklearn.cluster import KMeans
from sklearn.preprocessing import StandardScaler

# 数据标准化
scaler = StandardScaler()
X_scaled = scaler.fit_transform(user_features)

# 聚类
kmeans = KMeans(n_clusters=5, random_state=42)
labels = kmeans.fit_predict(X_scaled)
处理复杂结构数据的策略
当客户行为数据呈现环形或月牙状分布时,DBSCAN 可有效识别噪声并发现任意形状簇。参数 eps 和 min_samples 需通过网格搜索结合轮廓系数优化。
  • eps 过小导致大量点被标记为噪声
  • min_samples 提高可减少离群点敏感度
  • 使用 KD-Tree 加速邻域查询提升性能
高维数据的降维与聚类协同
文本主题聚类常面临维度灾难。推荐流程如下:
  1. 使用 TF-IDF 或 Sentence-BERT 向量化文本
  2. 通过 UMAP 将向量降至 50 维
  3. 应用 HDBSCAN 进行密度聚类
算法时间复杂度适用场景
K-MeansO(nkd)大规模、球状簇
DBSCANO(n log n)含噪声、非凸簇
HierarchicalO(n³)小样本、需树状结构

相关推荐

机器学习算法-------聚类算法(一)--种类以及评价指标

聚类算法:无监督学习,用来对数据对象进行分组,将相似的对象划分到同一个组或者类别中。聚类产生的类别标签是未知的,与分类不同。聚类是一种探索性数据分析方法,跟分类不同,聚类没有预测功能,是根据对象的不同属性所决定的距离来发现相似对象并划分为同一个分组。 一、聚类算法的种类 聚类算法:有多种聚类方法,可根据数据类型,目的及具体应用要求来选择合适的聚类算法 1.1基于划分的聚类方法: ...

潇湘雨 999

k-means和GMM的区别与联系

● k-means计算样本到各个簇中心的欧氏距离并选择最小距离来划分样本应该属于哪个簇类,而GMM给出的是样本由某个高斯分布生成而来的概率,比如有80%的概率是由A分布生成的,有20%的概率是B分布生成的。高斯混合模型(GMM)聚类的思想和 k-means 其实有点相似,都是通过迭代的方式将样本分配到某个簇类中,然后更新簇类的信息,不同的是GMM是基于概率模型来实现的,而 k-means 是非概率模型,采用欧氏距离的度量方式来分配样本。而GMM算法是软聚类,给出的是属于某些类别的概率。

1621

聚类算法K-Means, K-Medoids, GMM, Spectral clustering,Ncut

聚类算法是ML中一个重要分支,一般采用unsupervised learning进行学习,本文根据常见聚类算法分类讲解K-Means, K-Medoids, GMM, Spectral clustering,Ncut五个算法在聚类中的应用。Clustering Algorithms分类1. Partitioning approach:        建立数据的不同分割,然后用相同标准评价聚类结果。

Rachel Zhang的专栏 12万+

K_Means

Means:聚类算法就是涉及到给数据点分组,给定一组数据,我们可以使用聚类算法将每一个数据点划分成特定的组,为什么,因为在理论上,同一组的数据一般都具有相似的属性和特征,而不同组的数据中,往往要有高度不同的特征和属性,聚类始终无监督学习方法。 常用的算法有:K-Means,高斯混合模型(GMM),自组织映射神经网络(SOM) 算法流程: 首先该算法接收的是无标签的数据 它是一个迭代的过程,假设我们先要将数据聚成n类: 首先选择K个随机点,聚类中心 计算数据当中每个数据到聚类中心的距离,然后数

Aaadsda414114的博客 569

常见的六大聚类算法

1. K-Means(K均值)聚类 算法步骤: (1) 首先我们选择一些类/组,并随机初始化它们各自的中心点。中心点是与每个数据点向量长度相同的位置。这需要我们提前预知类的数量(即中心点的数量)。 (2) 计算每个数据点到中心点的距离,数据点距离哪个中心点最近就划分到哪一类中。 (3) 计算每一类中中心点作为新的中心点。 (4) 重复以上步骤,直到每一类中心在每次迭代后变化不大为止。也可...

诗蕊的专栏 32万+

K-means聚类算法的原理、应用与实例

K-means聚类算法的原理、应用与实例

qqrrjj2011的博客 8195

K-Means(K均值)、GMM(高斯混合模型),通俗易懂,先收藏了!

文章目录1. 聚类算法都是无监督学习吗?2. k-means(k均值)算法2.1 算法过程2.2 损失函数2.3 k值的选择2.4 KNN与K-means区别?2.5 K-Means优缺点及改进3. 高斯混合模型(GMM)3.1 GMM的思想3.2 GMM与K-Means相比4. 聚类算法如何评估5. 代码实现 1. 聚类算法都是无监督学习吗? 什么是聚类算法?聚类是一种机器学习技术,它涉及到数据...

mantch 9331

K-Means、DBSCAN、GMM聚类原理及使用

目的:对于样本空间中的不同样本希望在经过聚类后得到分类的效果例:一个坐标轴中有多个点,每个点都有对应的坐标,样本空间表示为[[x1,y1],[x2,y2],[x3,y3]]一个二维向量过程:样本空间 -->f()函数中(可以指定分成几类) -->聚类结果#产生样本点 :5000样本点,内外圆环间的比例,噪声系数#其中 x是生成的样本点,y是样本点的标注如array([0, 1, 1, ..., 0, 1, 0])

instance12的博客 1302

解码 K-Means 聚类:开启数据星河的炫酷聚类新纪元

K-Means 聚类算法是一种简单高效的无监督学习算法,适用于大规模数据集的聚类任务。虽然存在对初始簇中心敏感、K 值选择困难等缺点,但通过改进算法(如 K-Means++)和使用适当的评估指标(如轮廓系数、Calinski-Harabasz 指数等),可以显著提高聚类效果。在实际应用中,应根据数据的特点和需求选择合适的聚类算法和参数设置,以达到最佳的聚类效果。

羑悻的博客. 1980

聚类算法的介绍、原理及应用场景—K-means聚类、层次聚类、密度聚类、模型聚类、图聚类

K-means是最常用的聚类算法之一。初始化:随机选择K个数据点作为初始质心。分配数据点:将每个数据点分配给最近的质心,形成K个簇。更新质心:计算每个簇的质心,更新质心位置。迭代:重复步骤2和3,直到质心不再变化或达到最大迭代次数。# 生成示例数据# 训练K-means模型# 预测聚类结果# 可视化聚类结果plt.show()聚类算法在各个领域中有广泛应用。选择合适的聚类算法需要考虑数据的特点和具体的应用需求。对于数据量大且簇形状为球形的情况,K-means 是一种高效的选择。

rubyw的博客 8949

threekingdoms.txt中文三国演义下载及实现人物出场统计

threekingdoms.txt全文下载:https://python123.io/resources/pye/threekingdoms.txt CalThreeKingdomsV1.py: #CalThreeKingdomsV1.py import jieba txt = open("threekingdoms.txt", "r", encoding = "utf-8").read() words = jieba.lcut(txt) counts = {} for word in words:

ZYYRWish_97的博客 1万+

【海量数据挖掘/数据分析】之 K-Means 算法(K-Means算法、K-Means 中心值计算、K-Means 距离计算公式、K-Means 算法迭代步骤、K-Means算法实例)

① 给定条件 :给定数据集 X , 该数据集有 n 个样本;将其分成 K 个聚类;③ 聚类分组要求 :每个聚类分组中 , 所有的数据样本 , 与该分组的中心点的距离之和最小;将每个样本的与中心点距离计算出来 , 分组中的这些距离累加 , K 个分组的距离之和 也累加起来 , 总的距离最小;①设置中心点 :设置了 3 个初始中心点 , A1​(2,4) 对应聚类 1 中心点 , B1​(5,8) 对应聚类 2 中心点 , C1​(6,2) 对应聚类 3 中心点;②计算中心点距离。

仙魁XAN 3万+

Modbus CRC和LRC算法研究及代码实现

一、CRC(循环冗余校验) 1 CRC16实现流程 XOR = 异或 N = 字节的信息位 POLY = CRC16 多项式计算 = 1010 0000 0000 0001 (生成多项式 = 1 + x2 + x15 + x16) 在CRC16中,发送的第一个字节位低字节 2 CRC16实例推导 3 CRC16代码实现 unsigned short CRC16(unsigned char *a...

Hi, Boy 2892

五种常见的聚类算法总结

聚类算法的总结与讲解

slamer111的博客 4万+

AI时代,程序员何去何从?别慌,看完这篇你就明白了

AI时代程序员的发展方向 摘要:随着AI代码助手的普及,程序员行业面临变革。本文通过实际案例展示AI写代码的能力与局限:AI能生成基础功能代码(如RESTful API、数据处理脚本),但缺乏业务理解、系统设计和复杂逻辑处理能力。程序员的核心价值在于需求分析、架构设计、性能优化等高层能力。未来程序员应: 掌握AI工具提升效率 专注于创新和架构设计 培养业务理解能力 持续学习新技术 AI不会取代程序员,但会淘汰不会使用AI的程序员。建议开发者拥抱AI工具,将其作为助手而非威胁,聚焦高价值工作。

yunque_xianguang的博客 909

1.47寸ST7789V3彩色TFT LCD嵌入式驱动详解

TFT LCD是嵌入式人机交互(HMI)的核心显示技术,其工作原理依赖于行列驱动、RGB像素寻址与伽马校正等模拟/数字协同机制。ST7789V3作为主流低功耗TFT控制器,支持SPI接口与16位RGB565数据格式,具备高兼容性与轻量级驱动优势。在资源受限的MCU平台(如ARM Cortex-M系列)上,结合RT-Thread设备驱动模型与QSPI硬件加速,可实现高效显存管理、Bresenham图形算法及GB2312中文字模渲染。典型应用场景涵盖便携设备状态屏、工业HMI面板与教育开发套件——本文以1.47

weixin_42599908的博客 125

【sklearn】K-means、密度聚类、层次聚类、GMM、谱聚类

介绍了聚类的基本概念及其在图像处理中的应用场景,随后详细对比了划分聚类、密度聚类、层次聚类、模型聚类和图聚类五类传统方法的特性与适用条件。

📷 图像处理践行者 | 传统算法 · 深度学习 · 多模态 | 分享实战经验与技术洞见,探索从像素到智能的无限可能。 1475

通俗易通解释SLAM问题的数学描述:运动方程和观测方程

高翔博士在他的《视觉SLAM十四讲》中把SLAM问题的数学描述抽象成了两个数学方程,以下对此做个总结,并且对此做一些通俗易懂的解释: 一、方程的总体形式 作为理性层次的描述,我们引入数学方程来描述SLAM过程,其中第一个方程叫做运动方程、第二个方程叫做观测方程,想象一下我们在研究SLAM的时候肯定需要观测机器人(无人汽车、无人机等都可以统称为机器人)的运动(画面感很强哈哈),这样很容易理解并且记忆这两个方程的名称和意义: 二、变量的含义 我们看到,这两个方程中有大量的英文字母作为变量存在其中,下面介绍一下

weixin_41855010的博客 7119

非监督学习-聚类算法概述与代码实现(*K-means, k-modes, k-prototypes, DMSCAN密度聚类, GMM, 层次聚类)

非监督学习-聚类算法概述与代码实现(K-means, k-modes, k-prototypes, DMSCAN密度聚类, GMM, 层次聚类)聚类算法是什么监督学习、非监督学习、半监督学习与强化学习的概念距离计算方法(相似性)K-means算法逻辑如何评价k-means聚类算法k-means聚类算法如何选出最佳k值K-means的优缺点及应用场景改进和其他常用聚类算法与K-means算法类似的k-modes和k-prototypesDensity-based methods基于密度的聚类算法 DBSCAN

Monkeyhou1992的博客 4106

【WRF-Urban】URBPARM_LCZ.TBL 查找表解释及内容

URBPARM_LCZ.TBL 查找表解释及内容

WW、forever的博客 1754

SAP-RPT-1 深度解读:面向企业表格数据的 rapid one

摘要: SAP在TechEd 2025大会上推出面向企业结构化数据的SAP-RPT-1(Relational Pretrained Transformer),旨在通过in-context learning直接预测表格数据中的缺失值,无需传统机器学习流程。与LLM不同,RPT专为业务表格设计,支持实时预测(如交货延迟、回款风险等)。提供Small(高吞吐)、Large(高精度)和开源版本,用户可通过无代码Playground(上传CSV并用[PREDICT]标记目标列)或Python API快速验证。典型场景

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 239

【机器学习】无监督学习麾下 K-means 聚类如何智能划分,解锁隐藏结构,为市场细分、图像分割、基因聚类精准导航

聚类是一种无监督学习任务,其目的是将数据集中的样本分成若干个类别,使得每个类别内部的样本尽可能相似,而不同类别之间的样本差异尽可能大。聚类方法一般不依赖于数据的标签信息,而是通过计算样本间的相似性来实现数据的分组。常见的聚类算法有:K-means聚类、DBSCAN聚类、层次聚类、高斯混合模型(GMM)和K-medoids聚类等。

qq_67578580的博客 3013

【GameFramework框架工具链】5-1、DataTable数据表 类自动生成工具

这个是跟【GameFramework框架内置模块】3、数据表(Data Table)模块配合使用的工具链。在使用数据表的时候,我们需要先准备数据表,每个数据表对应一个C#,C#对应表里面的字段,然后使用里面的信息,比如Music数据表ID int类型 IDAssetName string类型 资源名然后,根据数据表生成C#实体类,这一块有一个StarForce的工具链,我们来看一下如何使用。

优快云博客专家,Unity3D高级软件工程师,《Unity 3D从入门到实战》作者。 1267

【数据挖掘】基于划分的聚类方法 ( K-Means 算法简介 | K-Means 算法步骤 | K-Means 图示 )

I . 基于划分的聚类方法 II . K-Means 算法 简介 III . K-Means 算法 步骤 IV . K-Means 方法的评分函数 V . K-Means 算法 图示

让 学习 成为一种 习惯 ( 韩曙亮 の 技术博客 ) 1万+

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

最强聚类算法:GMM(附数据源码)

本文详细介绍了高斯混合模型(GMM)聚类算法的原理、实现及应用。GMM基于概率模型假设数据由多个高斯分布混合生成,通过EM算法迭代优化参数,实现软分配聚类。相比K-means等硬聚类方法,GMM能更好地处理边界模糊的数据分布,并提供聚类不确定性量化。文章以鸢尾花数据集为例,展示了GMM的完整实现流程,包括数据标准化、模型训练、评估指标计算和可视化分析。实验结果表明GMM能有效识别数据中的自然分组,调整兰德指数达0.62,平均纯度0.96。通过比较不同协方差类型和聚类数,验证了GMM的灵活性。GMM特别适用于

PoxiaoCode的博客 2000

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

k均值聚类算法优缺点_聚类(二):k-means、GMM与EM算法

上一篇聚类(一)中我们探究了度量相似性的不同方式,了解不同的相似性定义会引导我们得到不同的聚类结果,那么具体是怎么引导的,不同的相似性是怎么发挥作用的呢,这就是我们这里要探究的聚类算法。聚类算法概览其实如我们之前所说的,类或簇的定义与我们期望实现的任务目标有关,聚类算法也一样,聚类算法的不同不仅体现在迭代学习的过程的不同,同样体现在目标类或簇的形式的不同,分别来看的话常见的聚类算法有:从迭代学习的...

weixin_39956451的博客 3803

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

上一篇: 如何用Python打造日均亿级消息处理管道:生产环境6大最佳实践
下一篇: 手把手教你构建智能特征:Python特征工程中的黑科技揭秘
InstrFun
博客等级 码龄1年 142粉丝 1990原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值