General Partial Label Learning via Dual Bipartite Graph Autoencoder

基于双二部图自动编码器的一般部分标签学习

摘要：我们提出了一个实际而又具有挑战性的问题：广义部分标记学习（GPLL）。与传统的部分标签学习（PLL）问题相比，GPLL将监督假设从实例级（标签集部分标记实例）放宽到组级：1）标签集部分标记一组实例，其中组内实例标签链接注释缺失，和2）允许跨组链接-组中的实例可能部分链接到另一个组中的标签集。这种模棱两可的组级监控在现实场景中更为实用，因为不再需要实例级的附加注释，例如，视频中的人脸命名，其中组由帧中的人脸组成，并由相应标题中设置的名称进行标记。在本文中，我们提出了一种新的图卷积网络（GCN），称为双二部图自动编码器（DB-GAE），以解决GPLL的标签模糊问题。首先，我们利用跨群相关性将实例群表示为双二部图：群内图和跨群图，它们相互补充以解决链接歧义。其次，我们设计了一个GCN自动编码器对其进行编码和解码，其中解码被认为是细化的结果。值得注意的是，DB-GAE是自我监督和转换的，因为它只使用组级监督，没有单独的离线培训阶段。在两个真实数据集上进行的大量实验表明，DB-GAE显著优于最佳基线，绝对F1分数为0.159，准确率为24.8%。我们进一步分析了不同级别的标签歧义。

介绍标签并不总是干净、完整和明确的。如图1（顶部）所示，给定一个训练实例，它对应于一个候选标签集[，]，其中只有一个是正确的。从这种模棱两可的标签中学习被称为部分标签学习（PLL）（Cour、Sapp和Taskar 2011），这是一个实际问题，因为与其他一对一监督相比，它显著减少了人类的标签工作。然而，在大规模场景中，PLL的假设仍然很难实现：如果视频或Web图像中有数百万帧，那么实例级别的标签注释PLL的成本将高得令人望而却步。图1（底部）显示了从实例级别到组级别的几个松弛示例：一组实例和候选标签集[，]。与传统的PLL相比，这更为复杂和模糊：1）组内注释被删除，2）允许跨组链接-出现在另一个组[]的候选标签集中，以及3）有一些带有空标签的实例不在任何标签集中。这种宽松的监管更具吸引力，因为它不需要在实例级别进行额外的注释。为此，我们提出了一个新问题：通用部分标签学习（GPLL），其训练注释仅来自固有的数据对（图1底部），因此非常具有挑战性。图2说明了逐步放松监管的一些相关问题。

 GPLL的一种直截了当的方法是考虑一些内/跨组启发式，例如：1）具有相似特征的实例，跨组可能属于同一标签。2） 跨组使用相同标签的相似实例表示该标签可能已分配给这些实例。3） 一个实例不能属于多个标签→ ,→ , 组中不同的实例不能是同一个标签。然而，这些启发法太弱，无法解决极端的模糊性。事实上，正如我们将在消融研究中所显示的那样，建模此类启发式方法来构建初始链接的精度仅达到62.9%

 我们认为，解决GPLL的关键是如何在无监督的情况下利用上述跨组相关性来构建初始链接，然后用更强的组上下文表示对其进行细化。为此，我们提出了一种新的图卷积网络，称为双二部图自动编码器（DB-GAE）。顾名思义，DBGAE明确地学习了组内和跨组表示，它们是相互补充的。组内表示法解决了组内的歧义，跨组表示法提供了额外的全局组上下文以进一步消除歧义。特别是，我们首先将初始链接表示为建议的组内和跨组二部图，然后使用GCN（Berg、Kipf和Welling 2017）对其进行编码和解码，以细化双链接以获得结果，其中重建损失仅参考组内图形输入，因为这是我们在GPLL中的唯一监督。因此，值得注意的是，DB-GAE是自我监督和转换的，这很有吸引力，因为它不需要额外的训练数据和离线训练阶段。我们将建议的DB-GAE与GPLL和PLL基准上的其他基线进行比较。我们的方法优于最佳基线，F1绝对得分为0.158，准确率为24.7%。我们还分析了模型在不同层次上的性能。贡献总结如下：•我们介绍了GPLL的新学习问题，它将现有的PLL公式推广到更现实、更具挑战性和更模糊的注释场景我们提出了一种称为DBGAE的新型图神经网络，旨在消除歧义并预测组内和组间的我们为拟议的GPLL任务建立了一个新的基准。实验表明，DB-GAE显著优于强基线

相关工作部分标签学习（PLL）（Nguyen和Caruana 2008；Cour、Sapp和Taskar 2011；Xie和Huang 2018）也称为超集