Normalized Cuts and Image Segmentation

Shi J. and Malik J. Normalized cuts and image segmentation. In IEEE Transactions on Pattern Analysis and Machine Intelligence.

概

在Digital Image Preprocessing的书上看到了这个算法, 对于其公式结果的推出不是很理解, 于是下载下来看了看. 本文主要讲的是一种利用图结构进行图像分割的算法.

主要内容

假设$f(x,y),x=1,2,\cdots M,y=1,2,\cdots N$为一张图片, 我们想要对其进行分割. 给定某一个距离函数, 可以用于衡量任意两点$i,j$的相似度:
$$w_{ij}=w(i,j).$$

把图片的每一个pixel看成一个节点, pixel和pixel之间的边为一条无向边, 则整体构成了一个无向的图 $G=(V,E)$, 每条边的权重如上所述是$w_{ij}$, 故易知$w_{ij}=w_{ji}$. 我们的目标是将图分成相斥的两块$A,B$, 即满足:
$$A\bigcup B=V,A\bigcap B=\varnothing .$$

以往的做法是, 找到一个分割, 使得下列指标最小:
$$cut(A,B)=\sum _{i\in A,j\in B}{w}_{ij},$$
但是这种策略往往会导致不均匀的分割, 即最角落里的元素被单独分割出来:

于是作者提出了一种新的指标:
$$Ncut(A,B)=\frac{cut(A,B)}{assoc(A,V)}+\frac{cut(A,B)}{assoc(B,V)},$$
其中$assoc(A,V)={\sum }_{i\in A,j\in V}{w}_{ij}$.
注意到:
$$Ncut(A,B)=\frac{cut(A,B)}{cut(A,B)+assoc(A,A)}+\frac{cut(A,B)}{cut(A,B)+assoc(B,B)},$$
所以只有到$assoc(A,A),assoc(B,B)$都足够大的时候Ncut才会足够小, 这说明该指标更关注了内部的一种紧密性.

求解

令
$$\begin{gathered} x_i=+1,\text{ if }i\in A,x_i=-1\text{ if }i\in B \\ {d}_i=\sum _j{w}_{ij}. \end{gathered}$$

则
$$Ncut(A,B)=\frac{{\sum }_{x_i>0,x_j<0}-w_{ij}{x}_i{x}_j}{{\sum }_{x_i>0}{d}_i}+\frac{{\sum }_{x_i<0,x_i>0}-w_{ij}{x}_i{x}_j}{{\sum }_{x_i<0}{d}_i}.$$

容易证明(但是不容易想到):
$$[\frac{1+x}{2}{]}_i=x_i=+1,\text{if }i\in A,[\frac{1+x}{2}{]}_i=0,\text{if }i\in B.$$
$$[\frac{1-x}{2}{]}_i=-x_i=+1,\text{if }i\in B,[\frac{1-x}{2}{]}_i=0,\text{if }i\in A.$$
令
$$\begin{gathered} [W{]}_{ij}=w_{i}j, \\ {D}_{ii}=d_i, \end{gathered}$$
且$D_{ii}$为对角矩阵.
所以我们能够证明以下事实:
$$\begin{gathered} 4\cdot cut(A,B)=(1+x{)}^{T}W(1-x) \\ 4\cdot assoc(A,V)=2\cdot (1+x{)}^{T}D1=(1+x{)}^{T}D(1+x) \\ 4\cdot assoc(B,V)=2\cdot (1-x{)}^{T}D1=(1-x{)}^{T}D(1-x) \\ assoc(V,V)=\sum _i{d}_i=1^{T}D1 \\ (1+x{)}^{T}D(1-x)=0. \end{gathered}$$

又注意到:
$$\sum _{x_i>0,x_j<0}-w_{ij}{x}_i{x}_j=\sum _{x_i>0}[d_i-\sum _{x_j>0}{w}_{ij}]=\frac{1}{4}(1+x{)}^T(D-W)(1+x),$$
于是同理可证:
$$(1+x{)}^{T}W(1-x)=(1+x{)}^T(D-W)(1+x)=(1-x{)}^T(D-W)(1-x).$$

令
$$k=\frac{assoc(A,V)}{assoc(V,V)},$$
则
$$1-k=\frac{assoc(B,V)}{assoc(V,V)}.$$

综上可得:
$$Ncut(A,B)=\frac{cut(A,B)}{k{1}^{T}D1}+\frac{cut(A,B)}{(1-k)1^{T}D1}=\frac{cut(A,B)}{k(1-k)1^{T}D1}.$$

又
$$\begin{array}{ll}& [(1+x)-b(1-x){]}^T(D-W)[(1+x)-b(1-x)]\\ =& (1+x{)}^T(D-W)(1+x)+b^2(1-x{)}^T(D-W)\\ & -2b(1+x{)}^T(D-W)(1-x)\\ =& 4(1+b^2)cut(A,B)-2b(1+x{)}^{T}D(1-x)+2b(1+x{)}^{T}W(1-x)\\ =& 4(1+b^2)cut(A,B)-0+8bcut(A,B)\\ =& 4(1+b{)}^{2}cut(A,B).\end{array}$$
又
$$(1+\frac{k}{1-k}{)}^2=\frac{1}{(1-k{)}^2},$$
故
$$\begin{gathered} 4\cdot Ncut(A,B)=\frac{4(1+b{)}^2}{b{1}^{T}D1}=\frac{[(1+x)-b(1-x){]}^T(D-W)[(1+x)-b(1-x)]}{b{1}^{T}D1}, \\ b=\frac{k}{1-k}. \end{gathered}$$
令$y=(1+x)-b(1-x)$, 且
$$y^{T}Dy=\sum _{x_i>0}{d}_i+b^2\sum _{x_i<0}{d}_i=b(\sum _{x_i<0}{d}_i+b\sum _{x_i<0}{d}_i)=b{1}^{T}D1.$$
$$4\cdot Ncut(A,B)=\frac{y^T(D-W)y}{y^{T}Dy}.$$
故
min ⁡ x N c u t ( A , B ) = min ⁡ y 1 4 y T ( D − W ) y y T D y , s . t . y i ∈ { 1 , 1 − b } . \min_x Ncut(A, B) = \min_y \frac{1}{4} \frac{y^T(D-W)y}{y^TDy}, \\ \mathrm{s.t.} \quad y_i \in \{1, 1 - b\}. xmin​Ncut(A,B)=ymin​41​yTDyyT(D−W)y​,s.t.yi​∈{1,1−b}.
倘若我们能放松条件至实数域中, 此时只需要通过求解下列系统:
$$(D-W)y=\lambda Dy\iff D^{-\frac{1}{2}}(D-W)D^{-\frac{1}{2}}z=\lambda z,z=D^{\frac{1}{2}}y.$$
需要注意的是:
$$(D-W)1=0,$$
此时$z_0=D^{\frac{1}{2}}1$,
故$1$实际上上述系统的一个解, 且对应最小的特征值, 但其不是我们所要的解. 因为$y$必须要还满足:
$$y^{T}D1=\sum _{x_i>0}{d}_i-b\sum _{x_i<0}{d}_i=0,$$
这意味着, 我们要的恰恰是
$$D^{-\frac{1}{2}}(D-W)D^{-\frac{1}{2}}z=\lambda z,z=D^{\frac{1}{2}}y$$
的倒数第二小的特征值对应的特征向量$z_1$, 于是$y_1=D^{-\frac{1}{2}}{z}_1$.

相似度

文中采用如下的计算方式:

$$w_{ij}=\{\begin{array}{ll}{e}^{-\Vert F_i-F_j{\Vert }^2/{\sigma }_I^2}\cdot e^{-\Vert X_i-X_j{\Vert }^2/{\sigma }_X^2}& \text{if }\Vert X_i-X_j\Vert <r\\ 0& \text{else}.\end{array}$$
其中$F$对应颜色之类的距离, 如直接取密度值, 而$X$对应空间距离, $r$限定了搜索范围, 同样会导致$W$变成系数矩阵, 对应特征求解加速有帮助.

总的算法流程

1. 计算权重矩阵$W$以及$D$;
2. 通过
   $$D^{-\frac{1}{2}}(D-W)D^{-\frac{1}{2}}z=\lambda z$$
   计算得到倒数第二小的特征值所对应的特征向量$z_1$并令$y_1=z_1$;
3. 通过某种方法(如网格搜索)找到一个阈值$t$:
   $$x_i=1,\text{if }{y}_i>t,\text{else }-1.$$
   且$x$的划分下
   $$Ncut(A,B)$$
   较小.
4. 对于$A,B$可以重复上述分割过程, 直到满足区域数目或者其它某种条件(比如文中说的特征向量的分布过于均匀时停止).

skimage.future.graph.cut

skimage.future.graph.cut