谱聚类算法入门教程（二）—— 构造谱聚类算法的目标函数

1. 构造相似度矩阵

在教程的第一部分我们已经介绍过，谱聚类方法就是要把相似的点分在一起。因此，在一开始，我们需要有一个表示不同数据点之间相似度的值，这个值越大，表示两个数据点的越相似。

常常用于计算两个数据点之间相似度的函数有欧式距离，杰卡德相似系数，余弦相似度系数，高斯核函数等，这里不会告诉你应该使用什么核函数来计算两个数据点之间的相似度，因为选择什么函数来计算相似度最好目前也没有确定的结论。

假设给出数据集 $V$，数据集里保存了每个数据点（总共有 $N$ 个数据点），由此我们可以构建一个 $NXN$ 的相似度矩阵 $W$，矩阵 $W$ 中第 $i$ 行，第 $j$ 列的元素 $w_{i,j}$ 保存着数据集中第 $i$ 个数据点和第 $j$ 个数据点的相似度。

2. 一个简单的例子

下面我们将用一个简单的例子来更好地叙述谱聚类方法，这个例子将其扩展到更普遍的情况也是一样成立的。

假设我们有一个数据集： V { v 1 , v 2 , v 3 , v 4 , v 5 , v 6 } V\{v_1,v_2,v_3,v_4,v_5,v_6\} V{ v1​,v2​,v3​,v4​,v5​,v6​}，每个数据点是一个二维向量，具体的值如下：

$v_1$	$v_2$	$v_3$	$v_4$	$v_5$	$v_6$
(0, 0)	(0, 1)	(1, 0)	(4, 2)	(5, 2)	(5, 3)

画出数据集的散点图，如下所示：

从图中我们可以很清晰的看到，原来的6个数据点被分为了两类，我们用下面的方式表示（$\bar{A}$表示集合$A$的补集）：

$$A=v_1,v_2,v_3$$

$$\bar{A}=v_4,v_5,v_6$$

如果我们定义一个向量$f$，如果对应编号的数据点在集合$A$中，那么向量$f$中对应行的值为1；反之，为 0，即：

$$f=\left[\begin{array}{c}1\\ 1\\ 1\\ 0\\ 0\\ 0\end{array}\right]$$

这样，我们就获得了一个所有数据点聚类结果的表示，求解这个向量的值就是我们的目标。

不过，上面的做法是对我们人来说的，机器并不能像我们一样一眼就看出来 $v_1,v_2,v_3$ 被分为一类， $v_4,v_5,v_6$ 被分为另一类，那么机器是怎么分析的呢？

首先，和我们在[第一部分](#1. 构造相似度矩阵)里说的一样，首先，我们需要构造一个相似度矩阵 $W$ ，这里我们选择常用的高斯核函数：

$$w_{i,j}=\exp (-\frac{||x_i-x_j|{|}^2}{2{\sigma }^2})$$

进过计算，我们可以得到下面的相似度矩阵 $W$，矩阵中值为 0 的元素表示值非常小，所以用 0 表示：

$$W=\left[\begin{array}{cccccc}1& 0.6& 0.6& 0& 0& 0\\ 0.6& 1& 0.37& 0.0002& 0& 0\\ 0.6& 0.37& 1& 0.0015& 0& 0\\ 0& 0.0002& 0.0015& 1& 0.6& 0.37\\ 0& 0& 0& 0.6& 1& 0.6\\ 0& 0& 0& 0.37& 0.6& 1\end{array}\right]$$

这是一个 6 X 6 的对称矩阵，那么下一步就是求解我们的目标向量：

$$f=\left[\begin{array}{c}{f}_1=?\\ f_2=?\\ f_3=?\\ f_4=?\\ f_5=?\\ f_6=?\end{array}\right]$$

如何求解上面的目标向量呢？考虑下面的式子：

$$R=\sum _{i,j=1}^6{w}_{i,j}(f_i-f_j{)}^2$$

我们可以发现，给定一个$f$，代入上面的公式，如果 $R$ 的值越大，说明我们的不同聚类之间的相似度之和越大，而不同聚类之间的相似度应该是越小越好的，所以说明这个聚类的效果是不好的；反之同理。背后的原理很容易理解，因为上述公式就是计算一个聚类的所有元素到另一个聚类的所有元素的相似度之和。

举一个简单的例子：

若$f={\left[\begin{array}{cccccc}1& 1& 1& 0& 0& 0\end{array}\right]}^T$（为了方便表示，这里的 $f$ 使用转置¹表示，和上面的表示是一样的），从图上看，即：

W = [ 1 0.6 0.6 0 0 0 0.6 1 0.37 0.0002 0 0 0.6 0.37 1 0.0015 0 0 0 0.0002 0.0015 1 0.6 0.37 0 0 0 0.6 1 0.6 0 0 0 0.37 0.6