谱聚类（Spectral Clustering）1——算法原理

简介

聚类（Clustering）是数据分析中最为广泛使用的技术之一，其广泛应用于统计学、计算机科学、生物、社会科学等。本文主要介绍一类重要的聚类算法，谱聚类（Spectral Clustering）。

谱聚类的主要思想是把所有的数据看做空间中的点。给定这些数据点之间的相似性度量，那么我们就可以构造一张相似图：如果两个点之间相似度为正（或者大于一定门限），那么它们之间就有边相连，且将其设置为边的权重。通过对相似图进行切割，让切割后不同子图之间边的权重之和尽可能低（意味着分属不同簇的点之间尽可能地不相似），而子图内边的权重之和尽可能地高（意味着同属同一簇的点之间尽可能地相似），从而达到聚类的目的。

相比传统的聚类算法，如k-means，谱聚类更容易实现，可以利用标准的线性代数软件高效求解，且往往效果更好。

 

1. 准备工作

在正式介绍谱聚类算法之前，我们需要一些必要的准备工作，以帮助我们更好地理解谱聚类算法及其背后的原理。我们先介绍图相关的一些基本概念和重要性质，然后介绍如何将数据点与图结合起来。

1.1 邻接矩阵

给定一个无向图$G=(V,E)$，其中 V = { v 1 , ⋯   , v n } V=\left\{ v_1,\cdots,v_n\right\} V={ v1​,⋯,vn​}是顶点的集合。我们用$W$表示其邻接矩阵（Adjacency Matrix），其中
$$w_{i,j}=\{\begin{array}{rlrl}& 1\text{或权值}& ,& \text{if}(v_i,v_j)\in E\\ & 0& ,& \text{otherwise}\end{array}\text{\hspace{1em}(1-1-1)}$$
也就是说，如果顶点$v_i$和顶点$v_j$之间有边连接，$w_{i,j}$等于1（不加权的图）或者等于该边上的权值（加权图）；反之，如果顶点$v_i$和顶点$v_j$之间没有边连接，$w_{i,j}$等于0。需要注意的是，因为图$G$是一个无向图，所以$w_{i,j}=w_{j,i}$，即$W$是一个对称矩阵。

1.2 度矩阵

给定一个无向图$G=(V,E)$，我们用$D$表示其度矩阵（Degree Matrix），其中
$$d_{i,j}=\{\begin{array}{rlrl}& \sum _{j=1}^n{w}_{i,j}& ,& \text{if}i=j\\ & 0& ,& \text{otherwise}\end{array}\text{\hspace{1em}(1-2-1)}$$
为方便起见，我们将$d_{i,i}$记作$d_i$。从上式可以看出，度矩阵$D$是一个对角矩阵，即
$$D=\left[\begin{array}{cccc}{d}_1& 0& \cdots & 0\\ 0& d_2& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & d_n\end{array}\right]\text{\hspace{1em}(1-2-2)}$$

1.3 拉普拉斯矩阵

1.3.1 非归一化拉普拉斯矩阵

非归一化拉普拉斯矩阵（Unnormalized Laplacian Matrix）的定义为$$L=D-W\text{\hspace{1em}(1-3-1)}$$非归一化拉普拉斯矩阵$L$有很多重要的性质：
（1）对任意向量$f\in {\mathbb{R}}^n$， 我们有$$f^{T}Lf=\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{w}_{i,j}(f_i-f_j{)}^2\text{\hspace{1em}(1-3-2)}$$（2）$L$是对称半正定矩阵
（3）$L$的最小特征值为0，其对应的特征向量为向量$1=[1,\cdots ,1{]}^T$
（4）$L$有$n$个非负的实数值特征值，即$0={\lambda }_1\le {\lambda }_2\le \cdots {\lambda }_n$

---

证明：
（1）
$$\begin{array}{rl}{f}^{T}Lf& =f^{T}Df-f^{T}Wf\\ & =\sum _{i=1}^n{d}_i{f}_i^2-\sum _{i=1}^n\sum _{j=1}^n{w}_{i,j}{f}_i{f}_j\\ & =\frac{1}{2}\left(\sum _{i=1}^n{d}_i{f}_i^2-2\sum _{i=1}^n\sum _{j=1}^n{w}_{i,j}{f}_i{f}_j+\sum _{j=1}^n{d}_j{f}_j^2\right)\\ & =\frac{1}{2}\left(\sum _{i=1}^n\sum _{j=1}^n{w}_{i,j}{f}_i^2-2\sum _{i=1}^n\sum _{j=1}^n{w}_{i,j}{f}_i{f}_j+\sum _{i=1}^n\sum _{j=1}^n{w}_{i,j}{f}_j^2\right)\\ & =\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{w}_{i,j}(f_i-f_j{)}^2\end{array}\text{\hspace{1em}(1-3-3)}$$

（2）因为$D$和$W$都是对称矩阵，所以$L$也是对称矩阵。因为对于任意的向量$f\in {\mathbb{R}}^n$，我们都有$f^{T}Lf=\frac{1}{2}{\sum }_{i=1}^n{\sum }_{j=1}^n{w}_{i,j}(f_i-f_j{)}^2\ge 0$，所以$L$是半正定矩阵。

（3）：因为$L$是对称半正定矩阵，所以其特征值非负。很显然，$L1=D1-W1=01$，所以0是$L$的最小特征值，$1$为其对应的特征向量。
（4）：由（1）-（3）可得。

---

1.3.2 归一化拉普拉斯矩阵

归一化拉普拉斯矩阵（Normalized Laplacian Matrix）的定义一般有两种：
$$L_{\mathrm{s}\mathrm{y}\mathrm{m}}=D^{-1/2}L{D}^{-1/2}=I-D^{-1/2}W{D}^{-1/2}\text{\hspace{1em}(1-3-4)}$$$$L_{\mathrm{r}\mathrm{w}}=D^{-1}L=I-D^{-1}W\text{\hspace{1em}(1-3-5)}$$其中$L_{\mathrm{s}\mathrm{y}\mathrm{m}}$是一个对称矩阵，$L_{\mathrm{r}\mathrm{w}}$和随机游走（Random Walk）密切相关（$L_{\mathrm{r}\mathrm{w}}$不再是一个对称阵）。

和非归一化拉普拉斯矩阵$L$一样，归一化拉普拉斯矩阵$L_{\mathrm{s}\mathrm{y}\mathrm{m}}$和$L_{\mathrm{r}\mathrm{w}}$有着和非归一化拉普拉斯矩阵$L$类似的重要性质：
（1）：对任意向量$f\in {\mathbb{R}}^n$， 我们有$$f^T{L}_{\mathrm{s}\mathrm{y}\mathrm{m}}f=\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{w}_{i,j}$$