2103-1多标签特定语意图图表示识别

Learning Semantic-Specific Graph Representation for Multi-Label Image Recognition

2021/03/18 14:42

1.问题：

      目前的方法因为缺少部分监督和语意引导，所以不能精准的定位。另外，当前方法不能发现语意区域内部的相互的联系。

      该文章提出了Semantic-Specific Graph Representation Learning (SSGRL)解决办法特征

     1.提出了一个解耦模块结合分类语意去引导学习特定语意

     2.提出了一个语意交互模块。这个模块的表现与建立在统计标签共现的图相关联，并且通过图的消息传递机制来进行交互。

2.结构图：

结构图

 

首先将一个图片喂入一个全连接的网络并且生成它的特征矩阵。随后，针对每一个分类语意解耦模块都会结合语意分类去引导特定语意的表示。最后语意交流模块使用一张图来联系这些表示，这些联系是建立在数据标签共现的基础上的。

2.1语意解耦模块

该模块的目的是为了学习特定语意特征的表示。具体

     1.输入图片I，通过神经网络找到特征矩阵W（CNN），对于每一个分类C，都会使用Glo Ve提取一个d维的语意嵌入向量Xc。

     2.使用语意引导的注意力机制结合Xc去引导语意感知区域，接着用图片特征值f，Xc通过low-rank双线性池化方法得到∽f

     3.通过Xc来得到注意力系数~a，然后正则化~a得到a

     4.对a和~f进行加权求和得到特征矩阵fc

 

3.网络架构

   1.最开始的图片提取特征使用的是ResNet-101

   2.池化以2*2 步长为2结构

   3.low-rank算法

  4.GNN图神经网络