一种新的图像多标记注释的图结构的稀疏模型（ICCV2013）

NewGraph Structured Sparsity Model for Multi-Label Image Annotations

摘要：在多标记图像注释中，每一幅图片可以属于多重范畴，所以语义的定义并不是相互排斥的。先前的研究表明标记的相关性可以大大的提高注释的准确性。然而，所有的现存方法中只是直接将标记相关性矩阵应用到加强标记推断和分配，并没有深入研究标记类比之间的结构信息。本文中，我们利用关系图来模拟标记关系，提出了一种显著的图结构稀疏学习模型，来实现在多标记分类关系图的拓扑约束。我们的方法可以获取和利用在关系图中隐藏的类别结构，来改进注释的效果。基于其客观性，大量的结构化稀疏归纳规范会被利用，我们设计了一种有效的优化算法，并证明了其收敛性。我们在六个多标记图像注释标准数据集上做了实验。在所有的试验结果上，我们的新方法显示出了较好的注释效果。
可视化数据在互联网中能够给计算机视觉研究者提供很重要的数据。图像注释对于计算机视觉系统的发展和验证有着至关重要的作用。但是，手工标记大量的数据集会花费很多时间和精力，并且也不大可能。因此，如果自动准确的对可视化数据进行注释标记成为了计算机视觉研究方面十分重要的一个问题。
和传统的单个标记的多种类图像分类不同，在图像注释中，每张图片或者视频帧通常包含了不止一种的语义表记，也就是通常所说的多标记多种类分类问题。例如图1（a）中有天空和飞机两种标记，b中有海洋轮船标记。多标记多种类分类有很多的应用，文件分类，蛋白功能预测以及音乐注释。
单标记分类和多标记分类的重要不同点在于：在单标记中，注释类别是专用的，但是注释条件在多标记分类中是相互关联的。因此，在多标记分类中，研究者可以利用这些注释标记跟相关联标记发生作用的性质。在图示1中飞机跟填空关联性较强，所以可以利用飞机来寻找天空，而轮船和海洋关联性较强，可以利用轮船还区别海洋和天空。许多先前的多标记图像注释方法探索这种标记关系来提高分类的准确性。

然而，所有的先前的方法通过直接利用标记关系矩阵（可以利用类别之间的标准化余弦相似性来计算，c是类别的个数）协同矩阵来改进标记传播和标记分布。还没有进行对标记关系的研究。在直接应用标记关系矩阵之外，我们利用类别关系图来模拟潜在的结构。
标记关系实际上可以用来组织成关系图模型。例如，利用pascal2006的数据集，我们可以构造注释集之间的关系图模型，在图示2中，节点是注释中的类别，边的权重是类别之间的关系值。一些类别，例如“猫”“牛”“羊”，他们跟其他类别的相关性非常小，在图示2中的可以看出来。为了证明，我们设他们的临界值为0，因此在右边的面板中并没有连线。如果两种类别有大的相关性，他们之间的连线权重就会比较大。这种关系图模型能够获取类别之间的隐含关系结构。如何利用这种结构来发现这种隐含的类别结构来加强多标记分类产生了一种计算的挑战。
在这篇论文中，我们提出了一种显著的结构化稀疏诱导规范规则来实现在多标记分类模型中的关系图信息。跟先前的方法不同的是，我们的方法利用关联类别来共享相同的空间，因此输入的数据对每个类别的相关性会被一起研究。新的类别关系图规则包含了大量的非平滑结构化稀疏诱导规则，所以任务功能优化变得十分复杂。我们将介绍新的优化算法来解决所出现的非平滑凸任务，并给出收敛性证明。我们在六种数据集上进行了试验，并跟现有的方法进行了比较。
（这是摘要和引言，不晓得为啥公式图片不能和文字一块粘贴，公式太多，之后有空在贴吧）