机器学习——聚类

最新推荐文章于 2024-08-20 17:13:50 发布
原创 最新推荐文章于 2024-08-20 17:13:50 发布 · 312 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#聚类

本文通过实例展示了KMeans聚类算法与层次聚类在不同数据分布下的表现，包括原始数据、旋转数据、方差不等数据及数量不等数据的聚类效果对比，并深入探讨了数据分布对聚类结果的影响。

kMeans:

import numpy as np
import matplotlib.pyplot as plt
import sklearn.datasets as ds
import matplotlib.colors
from sklearn.cluster import KMeans


def expand(a, b):
    d = (b - a) * 0.1
    return a-d, b+d


if __name__ == "__main__":
    N = 400
    centers = 4
    data, y = ds.make_blobs(N, n_features=2, centers=centers, random_state=2)
    data2, y2 = ds.make_blobs(N, n_features=2, centers=centers, cluster_std=(1,2.5,0.5,2), random_state=2)
    data3 = np.vstack((data[y == 0][:], data[y == 1][:50], data[y == 2][:20], data[y == 3][:5]))
    y3 = np.array([0] * 100 + [1] * 50 + [2] * 20 + [3] * 5)

    cls = KMeans(n_clusters=4, init='k-means++')
    y_hat = cls.fit_predict(data)
    y2_hat = cls.fit_predict(data2)
    y3_hat = cls.fit_predict(data3)

    m = np.array(((1, 1), (1, 3)))
    data_r = data.dot(m)
    y_r_hat = cls.fit_predict(data_r)

    matplotlib.rcParams['font.sans-serif'] = [u'SimHei']
    matplotlib.rcParams['axes.unicode_minus'] = False
    cm = matplotlib.colors.ListedColormap(list('rgbm'))

    plt.figure(figsize=(9, 10), facecolor='w')
    plt.subplot(421)
    plt.title(u'原始数据')
    plt.scatter(data[:, 0], data[:, 1], c=y, s=30, cmap=cm, edgecolors='none')
    x1_min, x2_min = np.min(data, axis=0)
    x1_max, x2_max = np.max(data, axis=0)
    x1_min, x1_max = expand(x1_min, x1_max)
    x2_min, x2_max = expand(x2_min, x2_max)
    plt.xlim((x1_min, x1_max))
    plt.ylim((x2_min, x2_max))
    plt.grid(True)

    plt.subplot(422)
    plt.title(u'KMeans++聚类')
    plt.scatter(data[:, 0], data[:, 1], c=y_hat, s=30, cmap=cm, edgecolors='none')
    plt.xlim((x1_min, x1_max))
    plt.ylim((x2_min, x2_max))
    plt.grid(True)

    plt.subplot(423)
    plt.title(u'旋转后数据')
    plt.scatter(data_r[:, 0], data_r[:, 1], c=y, s=30, cmap=cm, edgecolors='none')
    x1_min, x2_min = np.min(data_r, axis=0)
    x1_max, x2_max = np.max(data_r, axis=0)
    x1_min, x1_max = expand(x1_min, x1_max)
    x2_min, x2_max = expand(x2_min, x2_max)
    plt.xlim((x1_min, x1_max))
    plt.ylim((x2_min, x2_max))
    plt.grid(True)

    plt.subplot(424)
    plt.title(u'旋转后KMeans++聚类')
    plt.scatter(data_r[:, 0], data_r[:, 1], c=y_r_hat, s=30, cmap=cm, edgecolors='none')
    plt.xlim((x1_min, x1_max))
    plt.ylim((x2_min, x2_max))
    plt.grid(True)

    plt.subplot(425)
    plt.title(u'方差不相等数据')
    plt.scatter(data2[:, 0], data2[:, 1], c=y2, s=30, cmap=cm, edgecolors='none')
    x1_min, x2_min = np.min(data2, axis=0)
    x1_max, x2_max = np.max(data2, axis=0)
    x1_min, x1_max = expand(x1_min, x1_max)
    x2_min, x2_max = expand(x2_min, x2_max)
    plt.xlim((x1_min, x1_max))
    plt.ylim((x2_min, x2_max))
    plt.grid(True)

    plt.subplot(426)
    plt.title(u'方差不相等KMeans++聚类')
    plt.scatter(data2[:, 0], data2[:, 1], c=y2_hat, s=30, cmap=cm, edgecolors='none')
    plt.xlim((x1_min, x1_max))
    plt.ylim((x2_min, x2_max))
    plt.grid(True)

    plt.subplot(427)
    plt.title(u'数量不相等数据')
    plt.scatter(data3[:, 0], data3[:, 1], s=30, c=y3, cmap=cm, edgecolors='none')
    x1_min, x2_min = np.min(data3, axis=0)
    x1_max, x2_max = np.max(data3, axis=0)
    x1_min, x1_max = expand(x1_min, x1_max)
    x2_min, x2_max = expand(x2_min, x2_max)
    plt.xlim((x1_min, x1_max))
    plt.ylim((x2_min, x2_max))
    plt.grid(True)

    plt.subplot(428)
    plt.title(u'数量不相等KMeans++聚类')
    plt.scatter(data3[:, 0], data3[:, 1], c=y3_hat, s=30, cmap=cm, edgecolors='none')
    plt.xlim((x1_min, x1_max))
    plt.ylim((x2_min, x2_max))
    plt.grid(True)

    plt.tight_layout(2, rect=(0, 0, 1, 0.97))
    plt.suptitle(u'数据分布对KMeans聚类的影响', fontsize=18)
    # https://github.com/matplotlib/matplotlib/issues/829
    # plt.subplots_adjust(top=0.92)
    plt.show()

实验结果：
在这里插入图片描述

AgglomerativeClustering:

import numpy as np
import matplotlib as mpl
import matplotlib.pyplot as plt
from sklearn.cluster import AgglomerativeClustering
from sklearn.neighbors import kneighbors_graph
import sklearn.datasets as ds
import warnings


def extend(a, b):
    return 1.05*a-0.05*b, 1.05*b-0.05*a


if __name__ == '__main__':
    warnings.filterwarnings(action='ignore', category=UserWarning)
    np.set_printoptions(suppress=True)
    np.random.seed(0)
    n_clusters = 4
    N = 400
    data1, y1 = ds.make_blobs(n_samples=N, n_features=2, centers=((-1, 1), (1, 1), (1, -1), (-1, -1)),
                              cluster_std=(0.1, 0.2, 0.3, 0.4), random_state=0)
    data1 = np.array(data1)
    n_noise = int(0.1*N)
    r = np.random.rand(n_noise, 2)
    data_min1, data_min2 = np.min(data1, axis=0)
    data_max1, data_max2 = np.max(data1, axis=0)
    r[:, 0] = r[:, 0] * (data_max1-data_min1) + data_min1
    r[:, 1] = r[:, 1] * (data_max2-data_min2) + data_min2
    data1_noise = np.concatenate((data1, r), axis=0)
    y1_noise = np.concatenate((y1, [4]*n_noise))

    data2, y2 = ds.make_moons(n_samples=N, noise=.05)
    data2 = np.array(data2)
    n_noise = int(0.1 * N)
    r = np.random.rand(n_noise, 2)
    data_min1, data_min2 = np.min(data2, axis=0)
    data_max1, data_max2 = np.max(data2, axis=0)
    r[:, 0] = r[:, 0] * (data_max1 - data_min1) + data_min1
    r[:, 1] = r[:, 1] * (data_max2 - data_min2) + data_min2
    data2_noise = np.concatenate((data2, r), axis=0)
    y2_noise = np.concatenate((y2, [3] * n_noise))

    mpl.rcParams['font.sans-serif'] = [u'SimHei']
    mpl.rcParams['axes.unicode_minus'] = False

    cm = mpl.colors.ListedColormap(['r', 'g', 'b', 'm', 'c'])
    plt.figure(figsize=(14, 12), facecolor='w')
    plt.cla()
    linkages = ("ward", "complete", "average")
    for index, (n_clusters, data, y) in enumerate(((4, data1, y1), (4, data1_noise, y1_noise),
                                                   (2, data2, y2), (2, data2_noise, y2_noise))):
        plt.subplot(4, 4, 4*index+1)
        plt.scatter(data[:, 0], data[:, 1], c=y, cmap=cm)
        plt.title('Prime', fontsize=17)
        plt.grid(b=True, ls=':')
        data_min1, data_min2 = np.min(data, axis=0)
        data_max1, data_max2 = np.max(data, axis=0)
        plt.xlim(extend(data_min1, data_max1))
        plt.ylim(extend(data_min2, data_max2))

        connectivity = kneighbors_graph(data, n_neighbors=7, mode='distance', metric='minkowski', p=2, include_self=True)
        connectivity = 0.5 * (connectivity + connectivity.T)
        for i, linkage in enumerate(linkages):
            ac = AgglomerativeClustering(n_clusters=n_clusters, affinity='euclidean',
                                         connectivity=connectivity, linkage=linkage)
            ac.fit(data)
            y = ac.labels_
            plt.subplot(4, 4, i+2+4*index)
            plt.scatter(data[:, 0], data[:, 1], c=y, cmap=cm)
            plt.title(linkage, fontsize=17)
            plt.grid(b=True, ls=':')
            plt.xlim(extend(data_min1, data_max1))
            plt.ylim(extend(data_min2, data_max2))
    plt.suptitle(u'层次聚类的不同合并策略', fontsize=20)
    plt.tight_layout(0.5, rect=(0, 0, 1, 0.95))
    plt.show()

实验结果：
在这里插入图片描述

CoderMateng
关注
机器学习 —— 聚类算法--商业选址案例
认知 行动 坚持
11-16 3778
一、聚类算法描述 聚类是一个将数据集中在某些方面相似的数据成员进行分类组织的过程。 二、聚类算法特点 聚类算法就是一种发现这种内在结构的算法，聚类算法是一种无监督学习算法，其特点如下： 1、是一种无监督学习，只有数据，没标签y 2、试图通过数据间的关系发现一定的模式 3、可以作为监督学习中稀疏特征的预处理（聚类算法一般用于辅助监督学习方法，提供基础数据） 三、场景实例 1、基于用户位置信息的商业选址 2、生物种群固有结构认知 3、电商用户聚类 四、算法 - Kmeans K-means算
机器学习——聚类算法简单汇总
qq_47250064的博客
05-12 1874
详细介绍了聚类分析的分类以及优缺点
sklearn层次聚类AgglomerativeClustering
微小冷的学习笔记
01-05 7003
和Birch聚类相似，层次聚类也是一种依赖树结构实现的聚类方法，其核心概念是相似度。根据相似度，可以将所有样本组织起来，从而构建一棵层次聚类树。
层次聚类sklearn.cluster包AgglomerativeClustering
as394349658的博客
08-16 1万+
** Ward策略：让所有类簇中的方差最小化。 Maximum策略：也叫completed linkage（全连接策略），力求将类簇之间的距离最大值最小化。 Average linkage策略：力求将簇之间的距离的平均值最小化 single单次使用所有观测之间的最小距离两组中的一组。 AgglomerativeClustering中linkage参数为 [‘ward’, ‘co...
机器学习sklearn（13）层次聚类
weixin_44530236的博客
04-09 1万+
层次聚类(Hierarchical Clustering)是聚类算法的一种，基于层次的聚类算法（Hierarchical Clustering）可以是凝聚的（Agglomerative）或者分裂的（Divisive），取决于层次的划分是“自底向上”还是“自顶向下”。 凝聚层次聚类原理是：最初将每个对象看成一个簇，然后将这些簇根据某种规则被一步步合并，就这样不断合并直到达到预设的簇类个数。这里的关键...
【Python-ML】SKlearn库层次聚类凝聚AgglomerativeClustering模型
热门推荐
医疗影像检索
01-25 1万+
# -*- coding: utf-8 -*- ''' Created on 2018年1月25日 @author: Jason.F @summary: 无监督聚类学习-层次聚类(hierarchical clustering)，自下向上的凝聚和自顶向下的分裂两种方法。 ''' import pandas as pd import numpy as np import matplotlib.pyp
机器学习第12天：聚类
Nowl的博客
11-22 2122
某位著名计算机科学家有句话：“如果智能是蛋糕，无监督学习将是蛋糕本体，有监督学习是蛋糕上的糖霜，强化学习是蛋糕上的樱桃”现在的人工智能大多数应用有监督学习，但无监督学习的世界也是广阔的，因为如今大部分的数据都是没有标签的上一篇文章讲到的降维就是一种无监督学习技术，我们将在本章介绍聚类无监督学习的意义聚类的定义K-Means方法聚类绘制K-Means决策边界。
机器学习——聚类（总结版）
qzhqbb的博客
08-20 1286
当k小于真实聚类数时，由于k的增大会大幅增加每个簇的聚合程度，故SSE的下降幅度会很大，而当k到达真实聚类数时，再增加k所得到的聚合程度回报会迅速变小，所以SSE的下降幅度会骤减，然后随着k值的继续增大而趋于平缓，也就是说SSE和k的关系图是一个手肘的形状，而这个肘部对应的k值就是数据的真实聚类数。将上面选取到的代表点根据固定的参数α（0≤α≤1 ）向该簇的质心收缩，距离质心越远的点（例如离群点）的收缩程度越大，因此CURE对离群点是不太敏感的，这种方法可以有效的降低离群点带来的不利影响。
周志华机器学习——聚类算法。
kuxingseng123的博客
11-07 635
逐个的将各种聚类算法都给其搞定，全部学会都行啦的样子与打算，每个聚类算法都指的推敲，推导，全部将其搞定。慢慢研究透彻都行啦的理由！
Python凝聚层次聚类算法
youyouxiong的博客
03-15 568
凝聚层次聚类（Agglomerative Hierarchical Clustering）是一种自底向上的聚类方法。它首先将每个对象看作是一个单独的簇，然后按照某种准则（如距离）逐渐合并这些簇，直到满足某个终止条件（如达到预设的簇的数量或簇间的距离超过某个阈值）。类默认使用最小距离（单链接），但你也可以选择使用最大距离（全链接）或平均距离（平均链接）。注意，凝聚层次聚类的一个重要参数是连接准则，它决定了如何计算簇之间的距离。对象，并设置要生成的簇的数量为4。此外，你还可以设置其他参数来优化聚类结果，如。
使用scikitlearn实现层次聚类(agglomerative cluser)
weixin_44414593的博客
10-15 1384
from sklearn.cluster import AgglomerativeClustering 参数 n_clusters聚类的数量 affinity距离度量方法，可选 ‘euclidean’, ‘manhattan’,‘l1’,‘l2’,‘cosine’,‘precomputed’。 linkage选择何种距离，可选’ward’（使合并后的方差最小化）,‘complete’,‘average’,‘single’(最近距离） distance_threshold距离阈值，大于这个阈值后，不会合并。
二、模型评估
堵心好似八局
07-23 2022
二、模型评估 #没有测量，就没有科学 #在机器学习领域中，对模型的评估至关重要。只有选择与问题相匹配的评估方法，才能快速地发现模型选择或训练过程中出现的问题 #模型评估主要分为离线评估和在线评估两个阶段。 #针对分类、排序、回归、序列预测等不同类型的机器学习问题，评估指标的选择也有所不同。知道每种评估指标的精确定义、有针对性地选择合适的评估指标、根据评估指标的反馈进行模型调整，都是机器学习在模型评估阶段的关键问题 #模型评估指标的局限性 知识点： [1] 准确率（Accuracy） [2] 精确率（Pre
十三、聚类算法
beyond谚语的博客
05-21 1451
一、聚类 聚类是一种无监督的机器学习任务，可以自动将数据划分为类cluster，因此聚类分组不需要提前被告知所划分的组应该是什么样子的。因为我们甚至可能都不知道我们在寻找什么，所以聚类是用于知识发现而不是预测。 聚类原则是一个组内的记录彼此必须非常相似，而与该组之外的记录截然不同，所有聚类做的就是遍历所有的数据然后找到这些相似性。 二、K-Means(均值) ①选择K个初始的簇中心，该点可以是随机的，也可以是人为的 ②某一个样本和某一个聚类中心的距离 ③计算所属聚类的样本均值 ②③循环往复，直到不发生任
机器学习：Python实现聚类算法(三)之总结
weixin_30908707的博客
06-08 6673
考虑到学习知识的顺序及效率问题，所以后续的几种聚类方法不再详细讲解原理，也不再写python实现的源代码，只介绍下算法的基本思路，使大家对每种算法有个直观的印象，从而可以更好的理解函数中参数的意义及作用，而重点是放在如何使用及使用的场景。 （题外话： 今天看到一篇博文：刚接触机器学习这一个月我都做了什么？ 里面对机器学习阶段的划分很不错，就目前而言我们只要做到前两阶段即可...
均值聚类散点图怎么画_聚类算法
weixin_39982568的博客
01-08 5976
1.聚类分析聚类分析指将物理或抽象对象的集合分组为由类似的对象组成的多个类的分析过程。它是一种重要的人类行为聚类源于很多领域，包括数学，计算机科学，统计学，生物学和经济学。在不同的应用领域，很多聚类技术都得到了发展，这些技术方法被用作描述数据，衡量不同数据源间的相似性，以及把数据源分类到不同的簇中2.聚类的意义首先将大规模的、纷繁复杂的数据归档为不同的类别，进而针对每一类数据，制定不同的管理、分析...
聚类 python_Python之聚类（KMeans,KMeans++）
weixin_39788792的博客
12-01 151
1 #-*- coding: utf-8 -*-2 """3 Created on Mon Sep 17 16:41:46 201845 @author: zhen6 """78 importnumpy as np9 importmatplotlib.pyplot as plt10 importsklearn.datasets as ds11 importmatplotlib.colors12 f...
Python——plt.scatter各参数详解
YangWei_19的博客
05-13 7406
本文转载自：https://blog.youkuaiyun.com/qiu931110/article/details/68130199 感谢原作者：https://blog.youkuaiyun.com/qiu931110 关于画图的包plt里面的scatter函数的总结，如下： 1、scatter函数各参数 2、其中散点的形状参数marker如下： 3、其中颜色参数c如下: 4...
Cluster 注册表操作方法
zhanghaiyang9999的专栏
10-30 1127
cluster的注册表和单机的注册表是不一样的，cluster注册表在cluster的每个node上都能看到，数据是同步的，
机器学习——聚类算法合集
最新发布
05-28
### 机器学习中聚类算法的集合与综述 聚类算法是机器学习领域中的一个重要分支，其主要目标是将未知标签数据集中的样本分成不同的组别（簇），使得同一组内的样本相似度较高，而不同组之间的相似度较低[^3]。以下是对几种常见聚类算法的总结和介绍： #### 1. 基于传统方法的聚类算法 传统的聚类算法主要包括 K-Means、层次聚类（Hierarchical Clustering）、DBSCAN（Density-Based Spatial Clustering of Applications with Noise）等。这些算法在结构化数据上表现良好，并且实现相对简单。 - **K-Means**：K-Means 是一种基于划分的聚类算法，它通过迭代优化簇中心来最小化簇内样本的距离平方和。其实现可以通过 Python 的 `sklearn.cluster.KMeans` 模块完成[^4]。 ```python from sklearn.cluster import KMeans kmeans = KMeans(n_clusters=3) kmeans.fit(X) ``` - **层次聚类**：层次聚类分为凝聚型和分裂型两种，分别从单个点开始逐步合并或从整体开始逐步分裂。这种方法可以生成树状图（Dendrogram），帮助理解数据的层级关系。 - **DBSCAN**：DBSCAN 是一种基于密度的聚类算法，能够识别任意形状的簇，并对噪声数据具有较强的鲁棒性。其核心思想是通过邻域密度定义簇。 #### 2. 基于深度学习的聚类算法 随着深度学习的发展，基于深度学习的聚类算法逐渐成为研究热点。这类算法结合了神经网络的强大特征提取能力与聚类的目标函数优化。 - **自编码器聚类**：自编码器（Autoencoder）是一种无监督学习模型，通过压缩和重建输入数据来学习低维表示。自编码器聚类通常结合 K-Means 或其他传统聚类方法使用，以提升聚类效果[^1]。 - **变分自编码器聚类**：变分自编码器（VAE）引入了概率生成模型的思想，能够在隐空间中生成新的数据样本。变分自编码器聚类通过最大化后验概率来实现聚类目标。 - **深度聚类网络（Deep Clustering Network, DCN）**：DCN 结合了深度神经网络和聚类算法，通过端到端的方式优化特征表示和聚类分配。 - **生成对抗网络聚类（GAN-based Clustering）**：生成对抗网络（GAN）通过生成器和判别器的对抗训练生成逼真的数据样本。GAN 聚类则利用生成器生成的分布信息进行聚类分析。 #### 3. 大规模数据处理中的聚类算法 对于大规模数据集，传统的聚类算法可能无法满足性能需求。Spark 等分布式计算框架提供了多种高效的聚类算法实现[^2]。 - **K-Means on Spark**：Spark MLlib 提供了分布式版本的 K-Means 实现，能够处理海量数据集。 - **Bisecting K-Means**：二分 K-Means 是一种递归的聚类方法，每次将一个簇划分为两个子簇，直到达到指定的簇数。 - **Gaussian Mixture Model (GMM)**：GMM 是一种基于概率模型的聚类方法，假设数据由多个高斯分布组成。 #### 4. 总结 聚类算法的选择取决于具体应用场景和数据特性。传统聚类算法适合结构化数据，而基于深度学习的聚类算法更适合复杂特征的学习。大规模数据处理场景下，分布式聚类算法能够显著提升效率。 ```python from sklearn.cluster import DBSCAN dbscan = DBSCAN(eps=0.5, min_samples=5) dbscan.fit(X) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值