深度理解谱聚类

图的邻接矩阵与加权度矩阵

图的邻接矩阵

在数据结构的图论里面，一个图$G$由顶点和边组成，我们通常将顶点的集合记做$V$，边的集合记做$E$，即$G(V,E)$，其中$V$即为我们数据集里所有的点的集合$(v_1,v_2,\cdots ,v_n)$。对于$V$中任意的两个点，都可以有边连接，也可以没有，我们定义$w_{ij}$为点$v_i$和点$v_j$之间连接边的权重。邻接矩阵即为$W$，若两个点之间没有边，则在邻接矩阵中对应的元素为0，由于我们使用的是无向图所以，邻接矩阵$W$为对称矩阵。

比如下面这个无向图

它的邻接矩阵即为
$$\left[\begin{array}{ccccccc}0& 2& 0& 0& 0& 5& 0\\ 2& 0& 4& 3& 0& 0& 0\\ 0& 4& 0& 4& 0& 0& 0\\ 0& 3& 4& 0& 4& 0& 2\\ 0& 0& 0& 4& 0& 0& 0\\ 5& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 2& 0& 0& 0\end{array}\right]$$

图的加权度矩阵

对于无向图，一个顶点的加权度$d_i$即为与该顶点相连的所有边的权重之和。无向图的邻接矩阵为$W$则其顶点$v_i$的加权度为邻接矩阵的第$i$行的元素之和
$$d_i=\sum _{j=1}^n{W}_{ij}$$
利用每个节点度的定义，我们可以得到一个$n\times n$的加权度矩阵$D$，它是一个对角矩阵。只有主对角线上有值，其第$i$行对应着第$i$个节点的加权度$(d_i)$，其他位置均为0，定义如下：
$$D=\left(\begin{array}{ccc}{d}_1& \cdots & \cdots \\ \cdots & d_2& \cdots \\ ⋮& ⋮& \ddots \\ \cdots & \cdots & d_n\end{array}\right)$$

拉普拉斯矩阵

拉普拉斯矩阵推导

我们先直接给出拉普拉斯虎阵的定义：
$$L=D-W$$
其中$D$和$W$分别为我们上面所说的加权度矩阵与邻接矩阵

那么这拉普拉斯矩阵究竟从何而来，我们可以做如下推导

我们假设每一个顶点都是一个$N$维的向量，并每一个顶点$i$都有一个函数值$f_i$。
对顶点$i$进行扰动，它可能变为任意一个与它相邻的节点$j$$(j\in N_i)$，$N_i$表示与节点$i$相邻节点（即有边相连的节点）

在之前文章介绍的拉普拉斯算子的时候，我们可以知道拉普拉斯算子可以计算一个点到它所有自由度上微小扰动的增益，在图上表现为任意一个节点$j$变化到节点$i$所带来的增益。
现在我们假设图上所有边的权值都为1，则有：
$$\Delta f_i=\sum _{j\in N_i}(f_i-f_j)$$
当每一条边都有对应的权重时，则为：
$$\Delta f_i=\sum _{j\in N_i}{w}_{ij}(f_i-f_j)$$
我们在介绍邻接矩阵的时候如果两个点$i,j$不相邻时，定义其$w_{ij}=0$，所以上式可以简化为：
$$\Delta f_i=\sum _{j\in N}{w}_{ij}(f_i-f_j)$$

我们可以继续推导：
$$\begin{array}{rl}\Delta f_i& =\sum _{j\in N}{w}_{ij}(f_i-f_j)\\ & =\sum _{j\in N}{w}_{ij}{f}_i-\sum _{j\in N}{w}_{ij}{f}_j\\ & =d_i{f}_i-W_i\mathbf{f}\end{array}$$
其中${\sum }_{j\in N}{w}_{ij}=d_i$，$\mathbf{f}$表示所有顶点（假设有$N$个顶点）函数值的$N\times 1$的向量
而对于所有的$N$个节点则有：
$$\begin{array}{rl}\Delta f& =\left(\begin{array}{c}\Delta f_1\\ ⋮\\ \Delta f_N\end{array}\right)\\ & =\left(\begin{array}{c}{d}_1{f}_1-W_1\mathbf{f}\\ ⋮\\ d_N{f}_N-W_N\mathbf{f}\end{array}\right)\\ & =\left(\begin{array}{ccc}{d}_1& \cdots & 0\\ ⋮& \ddots & ⋮\\ 0& \cdots & d_N\end{array}\right)\mathbf{f}-\left(\begin{array}{c}{W}_1\\ ⋮\\ W_N\end{array}\right)\mathbf{f}\\ & =diag(d_i)\mathbf{f}-W\mathbf{f}\\ & =(D-W)\mathbf{f}\\ & =L\mathbf{f}\end{array}$$
这里的$(D-W)$实际上就是我们所说的拉帕拉斯矩阵$L$

拉普拉斯矩阵的性质

**性质(1)：**对于任一向量$\mathbf{f}\in {\mathbb{R}}^n$都有
$${\mathbf{f}}^{T}L\mathbf{f}=\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{w}_{ij}(f_i-f_j{)}^2$$
**性质(2)：**拉普拉斯矩阵是对称半正定矩阵
**性质(3)：**拉普拉斯矩阵的最小特征值为0，其对应特征向量为常向量$1$
**性质(4)：**拉普拉斯矩阵有$n$个非负实数特征值，并且满足
$$0={\lambda }_1\le {\lambda }_2\le \cdots \le {\lambda }_n$$

证明：

$$\begin{array}{rl}{\mathbf{f}}^{T}L\mathbf{f}& ={\mathbf{f}}^{T}D\mathbf{f}-{\mathbf{f}}^{T}W\mathbf{f}\\ & =\sum _{i=1}^n{d}_{ii}{f_i}^2-\sum _{i=1}^n\sum _{j=1}^n{f}_i{f}_j{w}_{ij}=\frac{1}{2}\left(\begin{array}{c}2{\sum }_{i=1}^n{d}_{ii}{f_i}^2-2{\sum }_{i=1}^n{\sum }_{j=1}^n{f}_i{f}_j{w}_{ij}\end{array}\right)\\ & =\frac{1}{2}\left(\begin{array}{c}{\sum }_{i=1}^n{d}_{ii}{f_i}^2-2{\sum }_{i=1}^n{\sum }_{j=1}^n{f}_i{f}_j{w}_{ij}+{\sum }_{i=1}^n{d}_{ii}{f_i}^2\end{array}\right)\\ & =\frac{1}{2}\left(\begin{array}{c}{\sum }_{i=1}^n{\sum }_{j=1}^n{w}_{ij}{f_i}^2-2{\sum }_{i=1}^n{\sum }_{j=1}^n{f}_i{f}_j{w}_{ij}+{\sum }_{j=1}^n{\sum }_{i=1}^n{w}_{ji}{f_j}^2\end{array}\right)\\ & =\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{w}_{ij}(f_i-f_j{)}^2\end{array}$$
因此性质(1)成立，而且根据性质(1)有：
$${\mathbf{f}}^{T}L\mathbf{f}=\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{w}_{ij}(f_i-f_j{)}^2\ge 0$$
因此性质(2)成立，即拉普拉斯矩阵是半正定的
(根据半正定矩阵的定义：设A是实对称矩阵。如果对任意的是非零列矩阵$X$有$X^{T}AX\ge 0$就称$A$为半正定矩阵)

由于：
$|L-0\cdot I|=|L|=|D-W|=$

$$\begin{array}{r}\left|\begin{array}{cccc}{\sum }_{j=1}^n{w}_{1j}-w_{11}& -w_{12}& \cdots & w_{1n}\\ -w_{21}& {\sum }_{j=1}^n{w}_{2j}-w_{22}& \cdots & -w_{2n}\\ ⋮& ⋮& ⋮& \ddots \\ -w_{n1}& -w_{n2}& \cdots & {\sum }_{j=1}^n{w}_{nj}-w_{nn}\end{array}\right|=\left|\begin{array}{cccc}{\sum }_{j=1,j\ne 1}^n{w}_{1j}& -w_{12}& \cdots & w_{1n}\\ -w_{21}& {\sum }_{j=1,j\ne 2}^n{w}_{2j}& \cdots & -w_{2n}\\ ⋮& ⋮& ⋮& \ddots \\ -w_{n1}& -w_{n2}& \cdots & {\sum }_{j=1,j\ne n}^n{w}_{nj}\end{array}\right|\end{array}$$
将上面的行列式的第$2\sim n$列依次加到第一列，则第一列的值全为0
$$\begin{array}{rl}\left|\begin{array}{cccc}{\sum }_{j=1,j\ne 1}^n{w}_{1j}& -w_{12}& \cdots & w_{1n}\\ -w_{21}& {\sum }_{j=1,j\ne 2}^n{w}_{2j}& \cdots & -w_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ -w_{n1}& -w_{n2}& \cdots & {\sum }_{j=1,j\ne n}^n{w}_{nj}\end{array}\right|& =\left|\begin{array}{ccccc}{\sum }_{j=1,j\ne 1}^n{w}_{1j}-w_{12}\cdots & w_{1n}& -w_{12}& \cdots & w_{1n}\\ -w_{21}{\sum }_{j=1,j\ne 2}^n{w}_{2j}\cdots -w_{2n}& {\sum }_{j=1,j\ne 2}^n{w}_{2j}& \cdots & -w_{2n}& \\ ⋮& ⋮& \ddots & ⋮& \\ -w_{n1}& -w_{n2}& \cdots & {\sum }_{j=1,j\ne n}^n{w}_{nj}& \end{array}\right|\\ & =\left|\begin{array}{cccc}0& -w_{12}& \cdots & w_{1n}\\ 0& {\sum }_{j=1,j\ne 2}^n{w}_{2j}& \cdots & -w_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ 0& -w_{n2}& \cdots & {\sum }_{j=1,j\ne n}^n{w}_{nj}\end{array}\right|\end{array}$$
因此行列式|L|值为|0|，所以|0|是其特征值。如果$\mathbf{f}=1$，则有
$$L\mathbf{f}=L1=(D-W)1=(d_{11}\cdots d_{nn}{)}^T-{\left(\begin{array}{c}{\sum }_{j=1}^n{w}_{1j}\cdots {\sum }_{j=1}^n{w}_{nj}\end{array}\right)}^T=0$$

因此$1$是对应的特征向量，由于拉普拉斯矩阵半正定，其特征值非负，所以性质(3)成立，再根据性质(2)和性质(3)，可以得到性质(4)

谱聚类–拉普拉斯矩阵

说起聚类我们第一直觉就是想到经典的无监督学习方法–K-Means聚类，但它只能在线性可分的类别上有很好的效果。
而对于一些非凸的图像就很难有效果，比如说下图，如果我们使用K-means会有如下效果：

对于处理这种数据，有很多算法被提出用来解决此类非凸数据，最经典的核聚类就是首先将数据点映射到高维空间上，这样本来在低维空间上线性不可分的点就线性可分了（至少效果相比在低维空间上更好了)因为高维空间上的数据点变得稀疏，分布的比较开，而且很多会集中在角落里。

而谱聚类对于处理这种非凸的数据也有很好的效果，其主要思想就是把所有的数据看作为空间上的点，这些点可以用变连接起来。距离较远的两个点的权重值较低，而距离较近的两个点之间的权重值较高，通过对所有数据点组成的图进行切图，让切图后的不同子图之间的权重尽可能的低，而子图内部的边权重尽可能的高，从而达到聚类的目的。

我们从谱聚类的原理来看，它似乎也只是根据距离来判断是否数据一类，那么它与K-means聚类可以说是相似的，那么为什么它可以用来处理非凸数据呢。

原因： 其主要原因就是我们在构造拉普拉斯矩阵的过程中，因为需要构造$邻接矩阵$，因此在使用拉普拉斯矩阵$L$从本质上来讲就已经把数据从笛卡尔坐标系转化到了另一个$相似度空间$（点与点的相似度）上，也就是说将原来的数据映射到了另一个新的坐标系当中，在这个新的坐标系中包含了点与点之间的相似度信息，这种映射是非线性，因此可以达到与核聚类一样的处理线性不可分的聚类效果

已经说了这么多，那么这拉普拉斯矩阵是怎么和谱聚类扯上关系的呢，为什么最后的聚类的对象变成了归一化后的拉普拉斯矩阵的前$k$个最小特征值对应的特征向量$f$所构成的特征向量矩阵$F$
别着急，我们一点点层层递进的来说。上面已经说了构造邻接矩阵可以对数据起到了一个映射的作用，下面我们就来说说怎么对数据点构造邻接矩阵

邻接矩阵的构造

它是由任意两点之间的权重值$w_{ij}$组成的矩阵。一般的图里我们可以直接自己输入权重，但在谱聚类里，我们只有数据点，并没有直接给出点与点之间的边的权重，更没有邻接矩阵，那么我们该如何找到这个邻接矩阵呢。
基本思想就是，距离较远的两个点权重值低，距离近的两个点权重值高，我们旭阳给权重值定量，可以通过样本点的距离度量的相似矩阵来获得邻接矩阵$W$。
构造邻接矩阵的方法有三类：$ϵ-\text{邻近法}$，$K$邻近法和全连接发，我们逐个介绍

$ϵ-\text{邻近法}$

对于$ϵ-\text{邻近法}$，他设置了一个距离阈值$ϵ$，然后用欧氏距离$s_{ij}$度量任意两点$x_i$和$s_j$的距离。即相似矩阵的
$s_{ij}=\Vert x_i-x_j{\Vert }_2^2$，然后根据$s_{ij}$和$ϵ$的大小关系，来定义邻接矩阵$W$，如下：
$$W_{ij}=\{\begin{array}{cc}0& s_{ij}>ϵ\\ ϵ& s_{ij}\le ϵ\end{array}$$
从上式可以看出两点之间的权重要么是$ϵ$要么就是0，除此之外便没有其他信息了。距离远近度量不精确，含有的信息少，因此很少使用

$K$邻近法

利用KNN算法遍历所有的样本点，取每个样本最近的k个点作为近邻点，只有样本距离最近的k个点之间才会有$w_{ij}>0$。但是这种方法会造成所构造的邻接矩阵非对称（比如说A点的前k个邻近点有B，但B的前k个邻近点里不一定有A），而我们需要对称的邻接矩阵，为解决该问题我们有两种方法，如下

第一种是两个点中，只要其中一点在另一个点的前k个邻近中，就保留$S_{ij}$
$$W_{ij}=W_{ji}=\{\begin{array}{cc}0& x_i\notin KNN(x_j)and{x}_j\notin KNN(x_i)\\ ex{p}^{(-\frac{\Vert x_i-x_j{\Vert }_2^2}{2{\sigma }^2})}& x_i\in KNN(x_j)or{x}_j\in KNN(x_i)\end{array}$$
第二种是两个点必须都在各自的前k个邻近中才保留$S_{ij}$
$$W_{ij}=W_{ji}=\{\begin{array}{cc}0& x_i\notin KNN(x_j)or{x}_j\notin KNN(x_i)\\ ex{p}^{(-\frac{\Vert x_i-x_j{\Vert }_2^2}{2{\sigma }^2})}& x_i\in KNN(x_j)and{x}_j\in KNN(x_i)\end{array}$$

全连接法

该方法顾名思义，全连接，所有点的权重值都大于0。
我们可以选择不同的核函数来定义边权重，比如常用的多项式核函数，高斯核函数(RBF)和Sigmoid函数，最常用的是高斯核函数(RBF)，此时相似矩阵和邻接矩阵相同
$$W_{ij}=S_{ij}=ex{p}^{(-\frac{\Vert x_i-x_j{\Vert }_2^2}{2{\sigma }^2})}$$
在实际的应用中，我们常使用全连接法来构造邻接矩阵，全连接法内常使用高斯核函数(RBF)。

谱聚类之切图聚类

假设对于一个图，我们想将其划分为两个部分，定义$cut(A,B)={\sum }_{i\in A,j\in B}{w}_{ij}$最小。当图中有$N$个节点，并划分为$k$个类别时，我们希望
$$mincut(A_1,A_2...,A_N)=\sum _{i=1}^{k}W(A_i,{\bar{A}}_i)$$
这样的图划分问题被称为最小割问题，然而在实际应用中该方法并不能很好的实现划分，这是因为仅仅依赖最小割的划分方法的话，很容易将图中孤立的节点划分为一类。
我们从公式上来看，$cut(A,B)={\sum }_{i\in A,j\in B}{w}_{ij}$实际上是与两个字图之间连接边的数量成正相关的，也就是说连接的边数越多，该值越大。所以在图划分时，任何一个对孤立节点的划分都会小于该节点所在类的一个更大的子图的划分$cut$值，所以在该目标函数下容易产生孤立点的划分结果
为了避免最小切图导致的切分效果不佳，我们需要对每个子图的规模作出限定，后面我们介绍两种切图方式，第一种是$RatioCut$，第二种是$Ncut$

$RatioCut$切图

$RatioCut$切图对于每一个切图不仅仅考虑到最小化$cut(A_1,A_2...,A_N)$，同时也考虑到最大化每个子图点的个数（$|A_i|$表示子图$A_i$里点的个数），即：
$$RatioCut(A_1,A_2,...,A_k)=\frac{1}{2}\sum _{i=1}^k\frac{W(A_i,{\bar{A}}_i)}{|A_i|}$$

先考虑$k=2$的$RatioCut$切图

我们假设$k=2$来初步分析，我们要解决优化问题
$$mi{n}_{A\subset V}RatioCut(A,\bar{A})$$
我们定义指示向量$\mathbf{f}=(f_1,...,f_n{)}^T\in \mathbb{R}$
$$f_i=\{\begin{array}{cc}\sqrt{\frac{|\bar{A}|}{|A|}}& if{v}_i\in A\\ -\sqrt{\frac{|A|}{|\bar{A}|}}& if{v}_i\in \bar{A}\end{array}$$
此时对于未正则化的拉普拉斯矩阵$L$有
$${\mathbf{f}}^{T}L\mathbf{f}=\frac{1}{2}\sum _{i,j=1}^n{w}_{ij}(f_i-f_j{)}^2$$
注意到$f_i$的特性，属于同一类的$f_i,f_j$可以互相抵消，可得
$$\begin{array}{rl}{\mathbf{f}}^{T}L\mathbf{f}& =\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{w}_{ij}(f_i-f_j{)}^2\\ & =\frac{1}{2}\sum _{v_i\in A,v_j\in \bar{A}}{w}_{ij}(\sqrt{\frac{|\bar{A}|}{|A|}}+\sqrt{\frac{|A|}{|\bar{A}|}}{)}^2+\frac{1}{2}\sum _{v_i\in \bar{A},v_j\in A}{w}_{ij}(-\sqrt{\frac{|\bar{A}|}{|A|}}-\sqrt{\frac{|A|}{|\bar{A}|}}{)}^2\\ & =cut(A,\bar{A})(\frac{|\bar{A}|}{|A|}+\frac{|A|}{|\bar{A}|}+2)\\ & =cut(A,\bar{A})(\frac{|\bar{A}|+|A|}{|A|}+\frac{|A|+|\bar{A}|}{|\bar{A}|})\\ & =|V|cut(A,\bar{A})(\frac{1}{|A|}+\frac{1}{|\bar{A}|})\\ & =|V|RatioCut(A,\bar{A})\end{array}$$
同时对于$f_i$我们有
$$\sum _{i=1}^n{f}_i=\sum _{i\in A}\sqrt{\frac{|\bar{A}|}{|A|}}+\sum _{i\in \bar{A}}-\sqrt{\frac{|A|}{|\bar{A}|}}=|A|\sqrt{\frac{|\bar{A}|}{|A|}}-|\bar{A}|\sqrt{\frac{|A|}{|\bar{A}|}}=0$$
有上式我们还可以知道$\mathbf{f}\perp 1$
同时我们可以发现${\mathbf{f}}^T\mathbf{f}$内积是一个常数。
$${\mathbf{f}}^T\mathbf{f}=\sum _{i=1}^n{f}_i{f}_j=\sum _{v_i\in A}\frac{|\bar{A}|}{|A|}+\sum _{v_i\in \bar{A}}\frac{|A|}{|\bar{A}|}=|A|\frac{|\bar{A}|}{|A|}+|\bar{A}|\frac{|A|}{|\bar{A}|}=|V|=n$$
其中$n$表示所有点的个数

下面我们可以将$RatioCut$目标函数进行转化，如下：
$$\begin{gathered} \underset{A\subset V}{\min }RatioCut(A,\bar{A})\iff \underset{A\subset V}{\min }{\mathbf{f}}^{T}L\mathbf{f} \\ s.t.\mathbf{f}\perp 1,|\mathbf{f}|=\sqrt{n} \end{gathered}$$
此时我们需要求解的向量$\mathbf{f}$任然是一个二值向量，因此它是一个NP_hard问题，假设$\mathbf{f}$是n维的，就有$2^n$个取值，如果有k个子图的话，就有k个指示向量，有$k{2}^n$种取值，这非常难求解，那么对于这种问题我们可以将其$松弛化$，将这种离散问题转化为$连续问题$，让解向量$\mathbf{f}$里的值不仅仅只有两个取值，而是可取实数域$\mathbb{R}$中的任意值。这样我们便将离散问题松弛为了连续问题了
$$\begin{gathered} \underset{f\in {\mathbb{R}}^n}{\min }{\mathbf{f}}^{T}L\mathbf{f} \\ s.t.\mathbf{f}\perp 1,|\mathbf{f}|=\sqrt{n} \end{gathered}$$

对于上述的有约束问题我们可以利用拉格朗日乘子将其转化为无约束问题，如下：
$$\begin{array}{rl}L(\mathbf{f},\lambda )& ={\mathbf{f}}^{T}L\mathbf{f}-\lambda ({\mathbf{f}}^{T}1)-\lambda ({\mathbf{f}}^T\mathbf{f}-n)\\ & ={\mathbf{f}}^{T}L\mathbf{f}-\lambda ({\mathbf{f}}^T\mathbf{f}-n)\end{array}$$
现在我们得到了无约束，且变量取值连续的目标函数，上式函数为凸函数，并令其导数为0来得到全局最优解
$$\begin{array}{rl}\frac{dL(\mathbf{f},\lambda )}{d\mathbf{f}}& =\frac{d[{\mathbf{f}}^{T}L\mathbf{f}-\lambda ({\mathbf{f}}^T\mathbf{f}-n)]}{d\mathbf{f}}=\frac{d({\mathbf{f}}^{T}L\mathbf{f})}{d\mathbf{f}}-\frac{d(\lambda {\mathbf{f}}^T\mathbf{f})}{d\mathbf{f}}\\ & =L\mathbf{f}+L^T\mathbf{f}-2\lambda {\mathbf{f}}^T\\ & ={\mathbf{f}}^T(L^T+L)-2\lambda {\mathbf{f}}^T=2{\mathbf{f}}^T{L}^T-2\lambda {\mathbf{f}}^T\end{array}$$
其中$L^T+L=2L^T$因为拉普拉斯矩阵$L$为对称矩阵，即$L^T=L$
我们令其等于0，即
$$2{\mathbf{f}}^T{L}^T-2\lambda {\mathbf{f}}^T=0\Rightarrow L\mathbf{f}=\lambda \mathbf{f}$$
由上式我们可以非常清楚的发现当$Lagrange$乘子$\lambda$是拉普拉斯矩阵$L$的特征值，并且指示向量$\mathbf{f}$为$L$的特征向量，函数有极值

这个函数的极值到底等于多少呢？？？
因为目标函数是${\mathbf{f}}^{T}L\mathbf{f}$，所以我们可以将上式两边左乘一个${\mathbf{f}}^T$
$${\mathbf{f}}^{T}L\mathbf{f}=\lambda {\mathbf{f}}^T\mathbf{f}=\lambda n$$
由于$n=|V|$表示图中所有点的个数，是一个不变常数，显然目标函数值的大小仅仅与$\lambda$有关，即
$$min\frac{{\mathbf{f}}^{T}L\mathbf{f}}{{\mathbf{f}}^T\mathbf{f}}=min\lambda$$
简而言之，拉普拉斯矩阵的特征值$\lambda$越大，则目标函数值就越大，特征值$\lambda$越小，则目标函数值就越小

我们的最优解无疑是要求得目标函数的最小值，也就是拉普艾斯矩阵的最小特征值，在前面我们已经说过了拉普拉斯矩阵的性质，其最小特征值${\lambda }_{min}=0$，但我们真的可以使用${\lambda }_{min}=0$来作为我们的最优解吗，显然不可以！！！
至于为什么我们从我们切图的目的来看，我们利用切图所构建的目标函数代表着对某一个图切图后的代价，当这个代价为0，这意味这什么，我们根本没有进行切图，而且通过上面对$L$性质的描述我们知道，特征值为0其所对应的的特征向量为全1的向量，也就是说所有样本都属于同一类。所以我们不去最小特征值，而是取第二小的特征值$\lambda$作为最优值，其所对应的特征向量$\mathbf{f}$便是最优解的指示向量

到这里对于这个$k=2$的二分类问题接近尾声了，我们最后还有一个问题，就是我们在求解目标函数时，将其变量取值松弛化到了整个实数域中，所以要想的到最后的分类结果我们还要将得到的最优解$\mathbf{f}$转化回到离散的二分取值。
由于我们是二分类问题，将其离散化就很简单了，只需要选取一个阈值，大于该阈值便属于$A$，小于该阈值便属于$\bar{A}$，我们假设该阈值为0
$$\{\begin{array}{cc}{v}_i\in A& if{f}_i\ge 0\\ v_i\in \bar{A}& if{f}_i<0\end{array}$$

上面我们讲述了，$k=2$时我们是如何求取分类结果的，下面我们来考虑$k>2$的情况

在这里我们定义指示向量$h_j=h_1,h_2,...,h_k,j=1,2,...,k$，对于任意一个向量$h_j$，它是一个$n$维的向量（$n$是样本数），例如$h_1={(h_{11},h_{21},...,h_{n1})}^T$并且其中元素的取值满足如下条件：
$$h_{ij}=\{\begin{array}{cc}\frac{1}{\sqrt{|A_j|}}& v_i\in A_j\\ 0& v_i\notin A_j\end{array}$$

我么将这这$k$个指示向量组合为一个指示矩阵$H$，因为我们的样本点只会属于某一个类，在其他类的的值为0，所以矩阵$H$的每一列指示向量互相正交，所以我们可以得到$H^{T}H=I$

在之前的二聚类中我们已经得到了
$$\underset{A\subset V}{\min }RatioCut(A,\bar{A})\iff \underset{A\subset V}{\min }{\mathbf{f}}^{T}L\mathbf{f}$$
我们可以将其扩展到多聚类中
$$RatioCut(A_1,...,A_k)=\sum _{i=1}^k{h_i}^{T}L{h}_i=\sum _{i=1}^k(H^{T}LH{)}_{ii}=tr(H^{T}LH)$$
所以最终我们可以将目标函数写为：
$$\begin{gathered} argmintr(H^{T}LH) \\ s.t.H^{T}H=I \end{gathered}$$

注意观察这里的$tr(H^{T}LH)$的每一个优化子目标都是${h_i}^{T}L{h}_i$，在推导二分类是我们已经得到了得到${h_i}^{T}L{h}_i$最小值就要使得拉普拉斯矩阵的特征值$\lambda$越小越好，所以在多分类的问题中我们就需要找到$L$的前$k$个最小特征值，而第$j$个特征值所对应的特征向量就是我们想要得到的$h_j$，然后将这$k$个特征向量组成了矩阵$H$，这里的特征向量依旧是连续的，我们必须要找到一种方法来将其离散化

之前在二分类是我们直接判断是否大于0的方法来将其离散化，但这在多分类是行不通的，因为这里我们的矩阵$H$是$n\times k$的，一共有$k$列。

那么我们该用什么方法将其离散化呢？
答案是$K-Means聚类$
我们可以通过$K-Means聚类$的方法，将$n$的样本点聚类成$k$类，因为我们的$H$矩阵的每一行代表着样本点向量，这个向量有$k$个值，如果某两个样本点属于同一类的话那么他们的向量也会很接近，所以用$K-Means$进行聚类会有比较好的效果

$NCut$切图

$NCut$切图和$RatioCut$切图很类似，它将$RatioCut$的分母$|A_j|$换成了$vol(A_j)$。由于子图的样本数多并不一定代表权重就大，我们在切图的时候基于权重也更适合我们的目标，因此一班来说$NCut$切图要优于$RatioCut$切图，其中$vol(A_j)={\sum }_{v_i\in A_j}{d}_i$

$Ncut$切图的目标函数如下：
$$NCut(A_1,A_2,...,A_K)=\frac{1}{2}\sum _{i=1}^k\frac{W(A_i,{\bar{A}}_i)}{vol(A_i)}$$

与$RatioCut$一样我们先来看看$k=2$，即二分类的情况，定义指示向量$\mathbf{f}$
$$f_i=\{\begin{array}{cc}\sqrt{\frac{vol(\bar{A})}{vol(A)}}& f_i\in A\\ -\sqrt{\frac{vol(A)}{vol(\bar{A})}}& f_i\in \bar{A}\end{array}$$
接下来和之前一样，推导一下目标函数
$$\begin{array}{rl}{\mathbf{f}}^{T}L\mathbf{f}& =\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{w}_{ij}(f_i-f_j{)}^2\\ & =\frac{1}{2}\sum _{v_i\in A,v_j\in \bar{A}}{w}_{ij}(\sqrt{\frac{vol(\bar{A})}{vol(A)}}+\sqrt{\frac{vol(A)}{vol(\bar{A})}}{)}^2+\frac{1}{2}\sum _{v_i\in \bar{A},v_j\in A}{w}_{ij}(-\sqrt{\frac{vol(\bar{A})}{vol(A)}}-\sqrt{\frac{vol(A)}{vol(\bar{A})}}{)}^2\\ & =cut(A,\bar{A})(\frac{vol(\bar{A})}{vol(A)}+\frac{vol(A)}{vol(\bar{A})}+2)\\ & =cut(A,\bar{A})(\frac{vol(\bar{A})+vol(A)}{vol(A)}+\frac{vol(A)+vol(\bar{A})}{vol(\bar{A})})\\ & =vol(V)cut(A,\bar{A})(\frac{1}{vol(A)}+\frac{1}{vol(\bar{A})})\\ & =vol(V)NCut(A,\bar{A})\end{array}$$
对于指示向量我们有$D\mathbf{f}\perp 1$，证明如下：
$$\begin{array}{rl}(D\mathbf{f}{)}^{T}1& =\sum _{i=1}^n{d}_i{f}_i\cdot 1=\sum _{v_i\in A}{d}_i\sqrt{\frac{vol(\bar{A})}{vol(A)}}-\sum _{v_i\in A}{d}_i\sqrt{\frac{vol(A)}{vol(\bar{A})}}\\ & =vol(A)\sqrt{\frac{vol(\bar{A})}{vol(A)}}-vol(\bar{A})\sqrt{\frac{vol(A)}{vol(\bar{A})}}=0\end{array}$$
除此之外我们还有${\mathbf{f}}^{T}D\mathbf{f}$是$vol(V)$，证明如下：

$$\begin{array}{rl}{\mathbf{f}}^{T}D\mathbf{f}& =\sum _{i=1}^n{f}_i{d}_i{f}_i=\sum _{v_i\in A}{d}_i\frac{vol(\bar{A})}{vol(A)}+\sum _{v_i\in A}{d}_i\frac{vol(A)}{vol(\bar{A})}\\ & =vol(A)\frac{vol(\bar{A})}{vol(A)}+vol(\bar{A})\frac{vol(A)}{vol(\bar{A})}=vol(V)\end{array}$$

综上我们可以得到目标函数，并将其松弛化得到：
$$\begin{gathered} \underset{\mathbf{f}\in {\mathbb{R}}^n}{\min }{\mathbf{f}}^{T}L\mathbf{f} \\ s.t.D\mathbf{f}\perp 1 \\ {\mathbf{f}}^{T}D\mathbf{f}=vol(V) \end{gathered}$$

从上式我们可以观察到它在约束条件上与$RatioCut$的区别，在$RatioCut$里是${\mathbf{f}}^T\mathbf{f}=n$，中间并没有$D$，而$NCut$却有，这也使得$RatioCut$里利用目标函数的拉格朗日乘子推导出的概念并不适用于此，那么如何让其适用呢？

答案是：将拉普拉斯矩阵$L$进行归一化
我们令$w=D^{\frac{1}{2}}\mathbf{f}$，则$\mathbf{f}=D^{-\frac{1}{2}}w$，可以得到
$$\begin{gathered} \underset{\mathbf{f}\in {\mathbb{R}}^n}{\min }{w}^T{D}^{-\frac{1}{2}}L{D}^{-\frac{1}{2}}w \\ s.t.w\perp D^{\frac{1}{2}}1 \\ {w}^{T}Dw=vol(V) \end{gathered}$$
对于上式我们将原来的$L$转化为$D^{-\frac{1}{2}}L{D}^{-\frac{1}{2}}$，其最小特征值为1，对应的特征向量为$D^{\frac{1}{2}}1$，我们将$D^{-\frac{1}{2}}L{D}^{-\frac{1}{2}}$看做为一个整体后，其与$RatioCut$的目标函数形式基本没有差别，所以在$RatioCut$得到的结论都可以使用，求解的操作对象由$L$转变到了$D^{-\frac{1}{2}}L{D}^{-\frac{1}{2}}$

接下来我们来看看$k>2$的多聚类

与$RatioCut$一样我们先定义指示向量$h_j$，其位$n\times 1$的向量，定义如下：
$$h_{ij}=\{\begin{array}{cc}\frac{1}{\sqrt{vol(A_j)}}& v_i\in A_j\\ 0& v_i\notin A_j\end{array}$$
我们可以将这$k$个指示向量$h_j$组合成矩阵$H$，矩阵的列向量依然正交，且我们有$H^{T}DH=I$，所以可得到以下目标函数：
$$\begin{gathered} \underset{H\in {\mathbb{R}}^{n\times k}}{\min }Tr(H^{T}LH) \\ s.t.H^{T}DH=I \end{gathered}$$
我们再令$H=D^{-\frac{1}{2}}F$，则$H^{T}LH=F^T{D}^{-\frac{1}{2}}L{D}^{-\frac{1}{2}}F$，$H^{T}DH=F^{T}F=I$，优化目标变为：
$$\begin{gathered} argmintr(F^T{D}^{-\frac{1}{2}}L{D}^{-\frac{1}{2}}F) \\ s.t.F^{T}F=I \end{gathered}$$
可以发现这个式子与$RatioCut$基本一致，后面的操作对象从$L$变为$D^{-\frac{1}{2}}L{D}^{-\frac{1}{2}}$，后面操作与$RatioCut$相同即可

其实$D^{-\frac{1}{2}}L{D}^{-\frac{1}{2}}$相当于与对拉普拉斯矩阵做了一次标准化，即$\frac{L_{ij}}{\sqrt{vol(A_i)vol(A_j)}}$