无监督学习 | DBSCAN 原理及Sklearn实现

相关文章：

机器学习 | 目录

机器学习 | 聚类评估指标

机器学习 | 距离计算

无监督学习 | KMeans 与 KMeans++ 原理

无监督学习 | GMM 高斯混合聚类原理及Sklearn实现

1. 密度聚类

密度聚类亦称“基于密度的聚类”（Density-Based Clustering），此类算法假设聚类结构能通过样本分布的紧密程度确定。通常情况下，密度聚类算法从样本密度的角度来考察样本之间的可连接性，并基于可连接样本不断扩展聚类簇以获得最终的聚类结果^[1]。这类算法可以克服 KMeans、BIRCH等只适用于凸样本集的情况。

常用的密度聚类算法：DBSCAN、MDCA、OPTICS、DENCLUE等。^[2]

密度聚类的主要特点是：

（1）发现任意形状的簇

（2）对噪声数据不敏感

（3）一次扫描

（4）需要密度参数作为停止条件

（5）计算量大、复杂度高

2. DBSCAN

DBSCAN（具有噪声的基于密度的空间聚类，Density-Based Spatial Clustering of Applications with Noise）是一种著名的密度聚类算法，它基于一组“邻域”（neighborhood）参数（$\epsilon ,MinPts$）来刻画样本分布的紧密程度。

首先我们通过一个简单的例子来介绍 DBSCAN，对于以下数据，我们任意选取一个点，定义一个以 $ϵ$ 为半径的邻域，若邻域内没有其他点，则这个点定义为噪声或异常点。

图1 邻域半径及噪声点

若这个点不是噪声，则考虑第二个参数：邻域内最少样本个数 $MinPts$，若某点邻域内最少样本个数不少于 $MinPts$，则这个点定义为核心点。对于该邻域内的非核心对象，定义为边界点，假设 $MinPts$=5 ，则聚类过程如下图所示：

图2 邻域内样本个数少于最少个数 图3 核心点与边界点

同理，继续扫描其余的点，可得其他簇：

图4 两个不同的聚类簇

下面，我们将通过严格的数学定义，来描述 DBSCAN 聚类算法。

2.1 算法原理

首先，给定数据集 D = { x 1 , x 2 , . . . , x m } D=\{x_1,x_2,...,x_m\} D={ x1​,x2​,...,xm​}，我们定义下面几个概念：

• $ϵ$ 邻域：对 $x_j\in D$，其 $ϵ$ 邻域包含数据集 $D$ 中与 $x_j$ 的距离不大于 $ϵ$ 的样本，即 N ϵ = { x o ∈ D ∣ d i s t ( x i , x j ≤ ϵ ) } N_{\epsilon}=\{x_o \in D| dist(x_i,x_j \leq \epsilon) \} Nϵ​={ xo​∈D∣dist(x