谱聚类

最新推荐文章于 2022-03-02 17:47:06 发布

煎饼证

最新推荐文章于 2022-03-02 17:47:06 发布

阅读量492

点赞数

分类专栏：机器学习文章标签：谱聚类

本文链接：https://blog.youkuaiyun.com/jianbinzheng/article/details/81238624

版权

谱聚类是一种从图论发展而来的聚类方法，适用于各种数据分布。通过构建相似矩阵、拉普拉斯矩阵，并利用Ncut或RatioCut准则进行切图，达到聚类目的。算法流程包括计算相似矩阵、生成拉普拉斯矩阵、提取特征向量并用KMeans进行最终聚类。该方法对稀疏数据和高维数据表现良好，但当目标维度较高时，效率和效果可能会下降。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

https://www.cnblogs.com/pinard/p/6221564.html
http://www.cnblogs.com/sparkwen/p/3155850.html

谱聚类(Spectral Clustering)，对数据分布适应性强，效果优秀，计算量小。

概述

由图论演化而来，在聚类中广泛应用。
将所有样本看做点，点之间用边连接，近的权重大，远的权重小。
通过对数据点切图实现聚类，使类间权重和小，类内权重和大。

无向权重图

结点的度表示与它相连的所有边的权重之和

d i = \sum j = 1 n w i j

$d_i=\sum_{j=1}^{n}w_{ij}$
度矩阵为对角矩阵，也即第i行权重的和

D = ⎛ ⎝ ⎜ ⎜ ⎜ ⎜ d 1 \dots ⋮ \dots \dots d 2 ⋮ \dots \dots \dots ⋱ d n ⎞ ⎠ ⎟ ⎟ ⎟ ⎟

$D=\left( \begin{matrix} d_1 & \cdots & \cdots\\ \cdots & d_2 & \cdots\\ \vdots & \vdots & \ddots\\ \cdots & \cdots & d_n \end{matrix} \right)$
对于一个子集

A⊂V A ⊂ V $A\subset V$ ，定义

| A | : = 子 集 A 中 点 的 个 数

$|A|:=子集A中点的个数$
和子集A的点的度和

v o l (A) : = \sum i \in A d i

$vol(A):=\sum_{i\in A}d_i$

相似矩阵

主要表达近的权重高，远的权重低。通常用距离度量表示。
构建邻接矩阵的三类方法。 $\epsilon$ -邻近法、K近邻法、全连接法
- $\epsilon$ -邻近法，设置距离阈值，阈值外的取0，阈值内的取1
- K近邻法，选最近的K个计算权重，其他为0，但会导致W非对称，可以通过两种方法解决

        - 两点间有一个被纳入邻近就都保留
        - 两点间都被纳入邻近才保留

- 全连接方法，将所有点两两相连，所有权重都大于0

计算距离时，除了欧氏距离，还可以选择不同的核函数来定义，如多项式核、高斯核、Sigmoid等。实际中，最常用全连接+高斯核

$W i j = e x p (- ‖ x i - x j ‖ 2 2 2 σ 2)$ $W_{ij}=exp(-\frac{\|x_i-x_j\|_2^2}{2\sigma^2})$

拉普拉斯矩阵

见https://blog.youkuaiyun.com/jianbinzheng/article/details/81229051
拉普拉斯矩阵 $L=D-W$ ，即度矩阵-邻接矩阵
其性质 $f^TLf=\frac{1}{2}\sum_{i,j=1}^{N}w_{ij}(f_i-f_j)^2$ 后续推导会使用到