【聚类】一种自适应Eps和Minpts的DBSCAN方法（python实现）

最新推荐文章于 2025-03-13 22:01:28 发布
最新推荐文章于 2025-03-13 22:01:28 发布
阅读量2.1w 收藏 216
点赞数 35
分类专栏： python 聚类 文章标签： DBSCAN 自适应参数 聚类
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/liyihao17/article/details/89372581
版权

一、算法来源

1、DBSCAN算法原型

       这个算法原型非常简单，有很多博主都有写，大家自己去看看就好了，也不用花太多时间，顶多十分钟就能了解个大概。

2、自适应Eps和Minpts参数

       由于该算法对Eps和Minpts参数十分敏感，所以如何确定这两个参数对于DBSCAN来说是很重要的一步，这篇博文是基于李文杰老师的论文《自适应确定DBSCAN算法参数的算法研究》，通过这篇论文，输入数据集即可大致确定这两个参数，从而可以直接在DBSCAN中应用。

二、大致思想

        参考论文中提出的，根据数据集提取出Eps候选项（按从小到大排列），然后再提取出Minpts候选项，随后用这些候选项尝试使用DBSCAN算法进行聚类，如果连续的候选项聚类的类别数目相同，那么选择Eps相对较大的那个最为最终参数输入到DBSCAN算法中去。

        论文中认为如果连续3个Eps候选项聚类的类别数目相同，那么可以认为数据集在这些参数下逐渐收敛，但是我觉得具体最好看图像是否收敛，所以我就简单的在程序里将聚类数目打印出来，读者可以自行选择聚利时使用的Eps和Minpts参数。

三、程序介绍

0、头文件import

import math
import copy
import numpy as np
from sklearn.cluster import DBSCAN

1、首先定义聚类的“距离”，这里将欧式距离作为聚类距离

def dist(a,b):
    """
    :param a: 样本点
    :param b: 样本点
    :return: 两个样本点之间的欧式距离
    """
    return math.sqrt(math.pow(a[0]-b[0],2) + math.pow(a[1]-b[1],2))

2、根据论文求解Eps和Minpts候选项列表

def returnDk(matrix,k):
    """
    :param matrix: 距离矩阵
    :param k: 第k最近
    :return: 第k最近距离集合
    """
    Dk = []
    for i in range(len(matrix)):
        Dk.append(matrix[i][k])
    return Dk


def returnDkAverage(Dk):
    """
    :param Dk: k-最近距离集合
    :return: Dk的平均值
    """
    sum = 0
    for i in range(len(Dk)):
        sum = sum + Dk[i]
    return sum/len(Dk)


def CalculateDistMatrix(dataset):
    """
    :param dataset: 数据集
    :return: 距离矩阵
    """
    DistMatrix = [[0 for j in range(len(dataset))] for i in range(len(dataset))]
    for i in range(len(dataset)):
        for j in range(len(dataset)):
            DistMatrix[i][j] = dist(dataset[i], dataset[j])
    return DistMatrix


def returnEpsCandidate(dataSet):
    """
    :param dataSet: 数据集
    :return: eps候选集合
    """
    DistMatrix = CalculateDistMatrix(dataSet)
    tmp_matrix = copy.deepcopy(DistMatrix)
    for i in range(len(tmp_matrix)):
        tmp_matrix[i].sort()
    EpsCandidate = []
    for k in range(1,len(dataSet)):
        Dk = returnDk(tmp_matrix,k)
        DkAverage = returnDkAverage(Dk)
        EpsCandidate.append(DkAverage)
    return EpsCandidate


def returnMinptsCandidate(DistMatrix,EpsCandidate):
    """
    :param DistMatrix: 距离矩阵
    :param EpsCandidate: Eps候选列表
    :return: Minpts候选列表
    """
    MinptsCandidate = []
    for k in range(len(EpsCandidate)):
        tmp_eps = EpsCandidate[k]
        tmp_count = 0
        for i in range(len(DistMatrix)):
            for j in range(len(DistMatrix[i])):
                if DistMatrix[i][j] <= tmp_eps:
                    tmp_count = tmp_count + 1
        MinptsCandidate.append(tmp_count/len(dataSet))
    return MinptsCandidate

3、求解出聚类类别数列表

def returnClusterNumberList(dataset,EpsCandidate,MinptsCandidate):
    """
    :param dataset: 数据集
    :param EpsCandidate: Eps候选列表
    :param MinptsCandidate: Minpts候选列表
    :return: 聚类数量列表
    """
    np_dataset = np.array(dataset)  #将dataset转换成numpy_array的形式
    ClusterNumberList = []
    for i in range(len(EpsCandidate)):
        clustering = DBSCAN(eps= EpsCandidate[i],min_samples= MinptsCandidate[i]).fit(np_dataset)
        num_clustering = max(clustering.labels_)
        ClusterNumberList.append(num_clustering)
    return ClusterNumberList

 四、程序（完全版）

import math
import copy
import numpy as np
from sklearn.cluster import DBSCAN


def loadDataSet(fileName, splitChar='\t'):
    """
    输入：文件名
    输出：数据集
    描述：从文件读入数据集
    """
    dataSet = []
    with open(fileName) as fr:
        for line in fr.readlines():
            curline = line.strip().split(splitChar)
            fltline = list(map(float, curline))
            dataSet.append(fltline)
    return dataSet


def dist(a,b):
    """
    :param a: 样本点
    :param b: 样本点
    :return: 两个样本点之间的欧式距离
    """
    return math.sqrt(math.pow(a[0]-b[0],2) + math.pow(a[1]-b[1],2))


def returnDk(matrix,k):
    """
    :param matrix: 距离矩阵
    :param k: 第k最近
    :return: 第k最近距离集合
    """
    Dk = []
    for i in range(len(matrix)):
        Dk.append(matrix[i][k])
    return Dk


def returnDkAverage(Dk):
    """
    :param Dk: k-最近距离集合
    :return: Dk的平均值
    """
    sum = 0
    for i in range(len(Dk)):
        sum = sum + Dk[i]
    return sum/len(Dk)


def CalculateDistMatrix(dataset):
    """
    :param dataset: 数据集
    :return: 距离矩阵
    """
    DistMatrix = [[0 for j in range(len(dataset))] for i in range(len(dataset))]
    for i in range(len(dataset)):
        for j in range(len(dataset)):
            DistMatrix[i][j] = dist(dataset[i], dataset[j])
    return DistMatrix


def returnEpsCandidate(dataSet):
    """
    :param dataSet: 数据集
    :return: eps候选集合
    """
    DistMatrix = CalculateDistMatrix(dataSet)
    tmp_matrix = copy.deepcopy(DistMatrix)
    for i in range(len(tmp_matrix)):
        tmp_matrix[i].sort()
    EpsCandidate = []
    for k in range(1,len(dataSet)):
        Dk = returnDk(tmp_matrix,k)
        DkAverage = returnDkAverage(Dk)
        EpsCandidate.append(DkAverage)
    return EpsCandidate


def returnMinptsCandidate(DistMatrix,EpsCandidate):
    """
    :param DistMatrix: 距离矩阵
    :param EpsCandidate: Eps候选列表
    :return: Minpts候选列表
    """
    MinptsCandidate = []
    for k in range(len(EpsCandidate)):
        tmp_eps = EpsCandidate[k]
        tmp_count = 0
        for i in range(len(DistMatrix)):
            for j in range(len(DistMatrix[i])):
                if DistMatrix[i][j] <= tmp_eps:
                    tmp_count = tmp_count + 1
        MinptsCandidate.append(tmp_count/len(dataSet))
    return MinptsCandidate


def returnClusterNumberList(dataset,EpsCandidate,MinptsCandidate):
    """
    :param dataset: 数据集
    :param EpsCandidate: Eps候选列表
    :param MinptsCandidate: Minpts候选列表
    :return: 聚类数量列表
    """
    np_dataset = np.array(dataset)  #将dataset转换成numpy_array的形式
    ClusterNumberList = []
    for i in range(len(EpsCandidate)):
        clustering = DBSCAN(eps= EpsCandidate[i],min_samples= MinptsCandidate[i]).fit(np_dataset)
        num_clustering = max(clustering.labels_)
        ClusterNumberList.append(num_clustering)
    return ClusterNumberList

if __name__ == '__main__':
    dataSet = loadDataSet('788points.txt', splitChar=',')
    EpsCandidate = returnEpsCandidate(dataSet)
    DistMatrix = CalculateDistMatrix(dataSet)
    MinptsCandidate = returnMinptsCandidate(DistMatrix,EpsCandidate)
    ClusterNumberList = returnClusterNumberList(dataSet,EpsCandidate,MinptsCandidate)
    print(EpsCandidate)
    print(MinptsCandidate)
    print('cluster number list is')
    print(ClusterNumberList)

五、相关文件

我会将txt文件和程序放在以下位置：

https://download.youkuaiyun.com/download/liyihao17/11125093

https://download.youkuaiyun.com/download/liyihao17/11125098

另外我也在github上放了

https://github.com/liyihao17/KANN-DBSCAN

需要的读者可以自行下载，相关论文读者可以自行去知网搜索下载

数据处理和分析之数据聚类：DBSCAN：DBSCAN在不同数据集上的应用
2401_87715305的博客
10-16 1263
在DBSCAN（Density-Based Spatial Clustering of Applications with Noise）算法中，数据点被分为三类：核心点、边界点和噪声点。这些定义基于数据点的密度，即在一定半径内邻近点的数量。核心点：在给定的半径Eps内，至少有MinPts个邻近点的点。这些点被认为是高密度区域的中心。边界点：在给定的半径Eps内，邻近点的数量少于MinPts，但位于某个核心点的Eps邻域内的点。噪声点：既不是核心点也不是边界点的点，通常被认为是异常值或孤立点。
改进的DBSCAN算法，点云可变 EPS 阈值 DBSCAN 聚类（附open3d python代码）
三维点云技术探索
11-28 2116
扫描距离越远,点云数据越稀疏,DBSCAN 算法对数据密度和聚类间距差较敏感,但在数据分布不均匀时聚 类效果较差,不同的参数对最后的聚类效果有很大影响。当点云数据分布不均匀且聚 类间距相差较大时,很难选取一个恰当的参数值。激光点云数据密度与扫描距离呈负相关,扫描距离越近,点云数据越稠密,主要依赖对 eps 距离参数的调试,在数据分布均匀时聚类效果良好,针对激光点云数据量大和分布不均的问题,对传统 DBSCAN 算法。实验结果表明,所提方法对不同距离的障碍物都。对传统的 DBSCAN 算法进行了改进,
一种改进的自适应快速AF-DBSCAN聚类算法
热门推荐
dwf_android的博客
09-22 1万+
针对基于密度的DBSCAN聚类算法及其改进算法在全局参数Eps与MinPts选择上需人工干预以及区域查询方式过程复杂和查询易丢失对象等不足，提出一种改进的参数自适应以及区域快速查询的密度聚类算法。根据KNN分布与数学统计分析自适应计算出最优全局参数Eps与MinPts，避免聚类过程中的人工干预，实现聚类过程的全自动化。通过改进种子代表对象选取方式进行区域查询，无需漏检操作，有效提高聚类的效率。对4种典型数据集的密度聚类实验结果表明，提出的方法有效解决了DBSCAN算法参数选取困难和算法效率的问题。
【聚类】一种自适应Eps和Minpts的DBSCAN方法的改进（python实现）
qq_47150350的博客
08-03 9059
一、算法来源 1、DBSCAN算法原型 这个算法原型非常简单，有很多博主都有写，大家自己去看看就好了，也不用花太多时间，顶多十分钟就能了解个大概。 2、自适应Eps和Minpts参数 由于该算法对Eps和Minpts参数十分敏感，所以如何确定这两个参数对于DBSCAN来说是很重要的一步，这篇博文是基于李文杰老师的论文《自适应确定DBSCAN算法参数的算法研究》，通过这篇论文，输入数据集即可大致确定这两个参数，从而可以直接在DBSCAN中应用。 二、大致思想 其中的基本思想，是通过计算数据集 D 中每个数据点
DBSCAN聚类算法
最新发布
jdjhcn的博客
03-13 657
对于这个参数，一共有4种可选输入，‘brute’对应第一种蛮力实现，‘kd_tree’对应第二种KD树实现，‘ball_tree’对应第三种的球树实现， ‘auto’则会在上面三种算法中做权衡，选择一个拟合最好的最优算法。我们在做数据爬取时，往往会遇到验证码，为了提高效率，我们不能每次都手动输入，这时使用DBSCAN我们就可以将属于同一个字母的小像素聚到一起，从而显示出验证码的信息，再通过人工智能中的图像识别，我们就能完成全自动爬虫。核心点的密度足够高，可形成或扩展聚类，如果小于3则密度不够不能被聚类。
一种自适应Eps和Minpts的DBSCAN方法
04-18
https://blog.youkuaiyun.com/liyihao17/article/details/89372581这篇文章用的代码，和数据集一起使用
一种改进的自适应快速AF-DBSCAN聚类算法（英文）
04-05
基于密度的DBSCAN聚类算法可以识别任意形状簇,但存在全局参数Eps与Min Pts的选择需人工干预,采用的区域查询方式过程复杂且易丢失对象等问题,提出了一种改进的参数自适应以及区域快速查询的密度聚类算法。根据KNN分布与数学统计分析自适应计算出最优全局参数Eps与Min Pts,避免聚类过程中的人工干预,实现了聚类过程的全自动化。通过改进种子代表对象选取方式进行区域查询,无需漏检操作,有效提高了聚类的效率。对4种典型数据集的密度聚类实验结果表明,本文算法使得聚类精度提高了8.825%,聚类的平均时间减少了0.92 s。
DBSCAN（自适应密度聚类）算法解析
qq_29462849的博客
07-20 7274
自适应确定DBSCAN算法参数的算法研究_李文杰.pdf
04-02
传统DBSCAN算法需要人为确定Eps和MinPts参数,参数的选择直接决定了聚类结果的合理性,因此提出一种新的自适应确定DBSCAN算法参数算法,该算法基于参数寻优策略,通过利用数据集自身分布特性生成候选Eps和MinPts参数,自动寻找聚类结果的簇数变化稳定区间,并将该区间中密度阈值最少时所对应的Eps和MinPts参数作为最优参数。实验结果表明,该算法能够实现聚类过程的全自动化并且能够选择合理的Eps和MinPts参数,得到了高准确度聚类结果。
python代码实现DBScan聚类
weixin_40623018的博客
04-26 790
python代码实现DBScan聚类
python dbscan 如何确定eps参数_浅析DBSCAN算法中参数设置问题的研究
weixin_36033884的博客
12-24 8886
侯雄文摘 要 传统的DBSCAN密度聚类算法，需要人为设置邻域阈值(Eps)和点数阈值(minPts)2个参数来对数据集进行聚类，由于minPts和Eps具有全局性，使得DBSCAN算法对参数很敏感， 特别是分布不均匀的数据集。针对DBSCAN算法中这一问题，本文研究改进的算法通过对数据点的k最近点平均距离进行分析，根据其统计特性动态地确定minPts和多个Eps值，然后根据所求得的多组(minP...
SA2DBSCAN:一种自适应基于密度聚类算法
04-19
DBSCAN 是一种经典的基于密度聚类算法,能够自动确定簇的数量,对任意形状的簇都能有效处理。SA2DBSCAN 聚类算法,通过分析数据集统计特性来自动确定Eps 和minPts 参数
论文研究-DBSCAN算法中参数的自适应确定.pdf
09-16
DBSCAN算法需要人为确定[Eps]和[minPts]两个参数，导致聚类结果的准确度直接取决于用户对参数的选择，因此提出一种新的参数确定方法，采用非参数核密度估计理论分析数据样本的分布特征来自动确定[Eps]和[minPts]参数，避免了聚类过程的人工干预，实现聚类过程的自动化。理论分析和实验结果表明，该方法能够选择合理的[Eps]和[minPts]参数，并得到了较高准确度的聚类结果。
k-means自适应聚类算法
06-24
k-means自适应聚类算法的matlab程序，根据文献中描述的算法编的，欢迎高手指教
自适应空间聚类方法SIFT匹配
04-25
比较好的学习文章英文的。。。。。。。。。。。。。。。。
python机器学习手写算法系列——DBSCAN聚类
juwikuang的专栏
01-02 8889
本文，就像本系列的其他文章一样。旨在通过阅读原论文+手写代码的方式，自己先把算法搞明白，然后再教其他人。手写代码除了可以验证自己是否搞明白以外，我会对中间过程做图。这样，我可以通过图直观的验证算法是否正确。而这些图，又成为写文章时候的很好的素材。 什么是 DBSCAN DBSCAN，全称是 Density-Based Scan。 故名思意，就是通过密度扫描。DBSCAN是一种聚类算法，和KMeans相比，他不需要指定cluster的数量。他的主要参数有两个，半径和邻居的数量。Scikit-Learn中，半径
【一般聚类/时序聚类】python实现多密度自适应聚类：Multi-DBSCAN
虚拟-Worder的博客
03-25 4910
本文代码基于该篇进行魔改，功能调用更加方便，速度经测试快了几十倍 import math import copy import numpy as np from sklearn.cluster import DBSCAN import sklearn.metrics.pairwise as pairwise class Adapter_DBSCAN(): # 默认统计聚类个数在2-25之间的聚类情况, 参数符合python左闭右开 def __init__(self,num_clu
在不平衡数据分类问题，给DBSCAN聚类算法加入自适应类别权重进行聚合分类，并展示测试分类结果用python代码写出
09-24
在处理不平衡数据集的分类问题中，我们可以利用DBSCAN (Density-Based Spatial Clustering of Applications with Noise) 聚类算法并结合自适应类别权重来提升对稀少类别的敏感度。DBSCAN是一种基于密度而非距离的聚类算法，适合发现任意形状的簇。 为了实现这个目标，我们通常会调整核心半径（`eps`）和邻域点数（`min_samples`）等参数，以更好地适应不同类别的分布。同时，可以计算每个类别的样本密度，作为其在聚类过程中的权重。以下是一个简单的Python示例，使用scikit-learn库实现DBSCAN并自适应地应用类别权重： ```python from sklearn.cluster import DBSCAN import numpy as np # 假设data是你的数据矩阵，y是标签列表 data = ... # 数据 y = ... # 标签 # 计算类别频率，用于计算权重 class_counts = np.bincount(y) # 获取最大类别数量，这将作为类别权重的倒数 max_class = max(class_counts) weights = [1 / count for count in class_counts] # 自定义DBSCAN函数，包含类别权重 def weighted_DBSCAN(data, eps, min_samples, weights): dbscan = DBSCAN(eps=eps, min_samples=min_samples, metric='euclidean') db_labels = dbscan.fit_predict(data, sample_weight=weights) return db_labels # 设置DBSCAN参数 eps = ... # 核心半径 min_samples = ... # 邻域点数 # 进行聚类 cluster_labels = weighted_DBSCAN(data, eps, min_samples, weights) # 测试分类结果 unique_labels, counts = np.unique(cluster_labels, return_counts=True) print("Unique clusters:", unique_labels) print("Counts per cluster:", dict(zip(unique_labels, counts)))
评论 27
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值