首先,将统计共现信息构建的标签图叠加到由标签知识先验构建的标签图中,建立标签相关性模型,然后在最终的叠加图上应用多层图卷积进行标签嵌入抽象。
其次,我们提出利用整个标签系统的嵌入来更好地表示学习。在浅层、中层和深层分别加入GCN和CNN的横向连接,将标签系统的信息注入主干CNN中,在特征学习过程中进行标签识别。
在MSCOCO和Charades数据集上进行了大量的实验,结果表明,本文提出的方法能够显著提高识别性能,达到新的最先进的识别性能。
KSSNet的标签图叠加深度卷积网络
1.基于知识的图叠加到基于统计的图中来构建最终的标签系统关系图
2.设计了一种新的CNN和GCN叠加网络来提取标签结构感知描述符
问题:给定输入X,预测其标签的常见做法可以表述为两阶段映射y = F 1 ∘ F 0 ( X ) y=F_1 \circ F_0(X)y=F1∘F0(X),其中F 0 : X → f F_0:X\to fF0:X→f表示CNN特征提取过程,F 1 : f → y F_1:f\to yF1:f→y表示从特征空间到标签空间的映射,标签只在训练阶段的最后阶段明确参与,因此,进一步的问题是,对于一个特定的多标签分类任务,相互关联的标签空间是否以及如何能够显式地帮助特征学习过程F 0 F_0F0?
传统方法:CNN进行提取特征+用图训练一个标签分类器