Image Segmentation:A Survey of Graph-cut Methods

    《Image Segmentation:A Survey of Graph-cut Methods》这篇文章是Graph-cut图像分割方法的一个综述，文章在第一部分首先给出了图割方法分割图像的优势，之后用图割方法与其他5种图像分割方法做对比，突出图割方法的优点。在第二部分中，文章详细讲解了图割方法分割图像的过程，并给出了图割方法改进的方向及现状。下面将有选择的对本文进行翻译。

摘要：

    图像分割作为一种预处理步骤，在机器视觉等方面扮演着重要的角色。如今，图像分割方法被广泛的提出，但很多方法的分割过程中只会用到图像中边缘信息或区域信息的一种，因此分割结果在很大程度上受到了限制。基于图割的图像分割方法可以有效利用图像中的边缘及区域信息，因此得到关注，此外，图割方法的能量函数是全局最优的，因此得到的结果是全局的。在多维图像分割中，图割方法也可以应用。因为图割方法具有以上的优势，因此很多方法被提出。本文的目标是帮助读者更好的理解图割图像方法。并且将图割方法分为3类。①：提高图割分割速度；②交互式图割；③加入先验形状信息的图割。

介绍：

    文章在第一部分“介绍”中，将图像分割方法做了一个大致的分类，并分析了各类分割方法的优点和缺点(本博客跳过阈值法、基于边缘的图像分割方法、基于区域的图像分割方法、基于分水岭的图像分割方法)。第5类图像分割方法，基于能量函数(泛函)方法，需要估计出能量函数，当分割结果为期望结果时，能量函数取值为最小。其中，Live wire、活动轮廓、水平集、图割方法都属于第5类的图像分割方法。在live wire方法中，用户需要确定种子点且种子点需位于图像目标边缘处。在活动轮廓和水平集中，需要给出初始轮廓，然后再预定义的规则(能量泛函最小过程)中，提取出合理的曲线。然而，活动轮廓和水平集用边缘信息而且对初始轮廓位置过于敏感，此外，无法得到全局最优。图割方法的能量泛函利用图像区域信息和边缘信息构成，而且可以得到全局最优。因此在自然图像、医学图像等图像分割中得到应用。

GRAPH-CUT 分割：

   文章在第二部分详细介绍了图割分割原理。在第二部分中，先介绍了图割，之后介绍了图割图像分割方法，最后给出了基于图割图像算法的分类。

    A. 图割

    无向图可以表示为：G=<V,E>，这里的V表示顶点，E表示为图中相邻两个顶点的边。顶点可分为两类，第一类顶点为相邻顶点，相邻顶点即图像像素点，第二类顶点s(对应于图中的源)和t(对应于图中的汇)。s顶点通常代表目标，t顶点代表背景。边也分为两类，第一类边称为n-links，是图中相邻顶点(相邻图像像素)连接形成的边；第二类边称为t-links，是终端顶点(s，t)与相邻顶点连接形成的边。在图中，每个边都附一个非负权值(也可以表示为cost)，表示为： 。一个割(cut)可以看做是边集E的子集，表示为C。一个割的cost表示为：                                                                                                                                                                                                               (1)

    最小割可以由最大流给出，即最小割与最大流是等价的。通过最大流最小割算法，可以讲图中顶点分成两个不相交的子集S和T。终端顶点s属于S，t属于T，且S和T的并集为所有顶点集V。两个子集S和T，分别代表前景和背景。

    B.图割的图像分割算法

    图割图像分割可以认为是图像像素确定标签问题。图中，前景顶点和终端顶点s赋值为1，背景顶点及终端顶点t赋值为0，通过最小割算法，可得到图割结果。为了使得分割更加合理，cut应该发生在目标与背景的交界边缘处，即在目标边缘处，能量泛函取值应该是最小的。设L={l1,l2,l3…，li,…lp}，这里的p是图像中像素的个数且li取值为0,1。因此，集合L被分为两个部分，其中，像素标签li为1的像素属于前景，同理，像素标签Li为0的像素属于背景。能量函数可以表示为式(2):

                                                                                                                                                                                    (2)

    式(2)中，R(L)成为区域项，该项包含区域信息；B(L)成为边界项，该项包含边界信息，是一个非常重要的参数，用来权衡区域和边缘的关系。在式(2)中，区域项定义为式(3):

                                                                                                                                                                                              (3)

式(3)中，Rp(lp)是给像素p分配标签lp的惩罚，Rp(lp)的weight可以通过像素p与背景和前景强度模型对比给出，表示为式(4)，式(5)：

                                                                                                                                                                                 (4)

                                                                                                                                                                                 (5)

    式(4),式(5)中，当Pr(Ip|'obj')比Pr(Ip|'bkg')大时，说明Ip更倾向于目标，此时，Rp(1)要小于Rp(0),从而使能量函数较小。因此，当所有的像素点都能够正确的分到各自的子集时，R(L)最小。

    边缘项B(L)可由式(6)表示：

                                                                                                                                                                      (6)

    式(6)中，p，q为相邻像素，且可表示为式(7):

                                                                                                                                                                             (7)

     对于区域约束，可以解释为对Ip和Iq这对相邻像素的标签分配，当相邻像素分配标签一致时，惩罚项为0，不一致时，惩罚项为1，整个区域项可以看成将相邻像素间分割边缘的权值cost相加，其中，。可以看做是噪声(应该是噪声方差吧)，当相邻像素相似时B值较大，相反，B值较小。因此，当能量函数得到较小的值时，表明所取点大多落在了目标边界处。

    综上：当像素强度倾向于前景像素时，该像素与终端顶点s所连成的边的权值weight要大于终端顶点t与该像素相连形成的边的权值，为了使能量泛函更小，即需要割断该点与终端顶点t所连成的边；当相邻像素相似时，B值较大，为了使能量泛函尽量小，该处不该被分割，因此保留下来，反正，则可能被分割。

图割算法分类

    本文将图割分割方法的发展方向大体分为了3类，分别是提高图割分割速度、交互式图割图像分割和加入先验形状的图割图像分割。

    A.speed-up based graph cut

    传统的图割方法，将每个像素作为1个顶点进行计算，这样的计算量较大。然而在很多情况下，目标在图像中只占很小的部分，因此我们可以只对包含目标的部分图像计算，通过对背景的减除，实现降低计算量的目的。除此之外，当图像中相邻像素非常相似的时候，可将这两个像素合并成一个像素运算，因此，这里又引入了聚类算法。在其他思路上，用超像素方法，将每个超像素作为1个像素或者看做图的顶点进行运算，从而可以降低计算量。

    B.Interactive-based graph cut

    在图像分割中，很多图像很难实现纯自动分割，因此，引入交互式方法是十分必要的。在部分文献中提到，用户手动设定边界框，边界框中心区域作为前景，通过对前景区域的像素运算可得到前景柱状图，反之，可得到背景柱状图。部分文献中，迭代交互式图割方法得到应用。这种方法将每次迭代后产生结果后，对种子点进行修正，添加更多种子点，知道分割结果满意为止，这种方法对弱边缘图像分割结果理想。这段内容中涉及到两个表格，给出了旧种子点与其他顶点所形成的边的构成以及新种子点是如何加入的。非常重要。两个表格表头是不一样的，第一个表格为边的构成，第二个表格为新种子点的加入。

    C.加入先验信息的图割方法

    略

    总结起来，图割是非常好的分割方法，但是计算量大，个人认为减少计算量，自动确定种子点或目标区域是重要的改进方向。