论文阅读：API-Net

Learning Attentive Pairwise Interaction for Fine-Grained Classification

2020 AAAI。网络结构倒是不复杂，但是这么大的batch size要怎么跑起来。

摘要

动机：目前方法都是通过单张图像学习区分性表示，而人类可以通过比较图像对来有效地识别。

网络：注意力成对交互网络（API-Net），通过交互逐步识别成对的细粒度图像。

1. 先学习一个共同的特征向量，捕获输入对中的语义差异
2. 将该向量与各个向量比较，为每个输入图像生成门
3. 端到端，分数排序正则化

代码：https://github.com/PeiqinZhuang/API-Net

1 引言

人类是在比较中识别细粒度对象的。

引入注意力成对交互网络API-Net，可以从一对细粒度图像中自适应地发现对比线索，并通过成对交互进行区分。

API-Net由三个子模块组成，即相互向量学习，门向量生成和成对交互。输入一对图像，先学习一个互矢量，以将输入对的对比线索概括为上下文。再将互向量与单个向量进行比较生成不同的门，可以从每个单个图像的角度突出显示语义差异。将这些门作为区分性注意力执行成对交互。每个图像可以生成两个增强的特征向量，分别从其自身的门矢量和该对中另一个图像的门矢量激活。通过端到端的训练方式和分数排名正则化。

即插即用。

2 API-Net

2.1 互矢量学习

两张图片分别经过主干网络生成$D$维特征向量$x_1,x_2$，映射函数（多层感知机）学习一个$D$维互矢量$x_m=f_m([x_1,x_2])$。由于$x_m$是两个的自适应总结，通常包含特征通道，指示成对的高层次的对比线索。

2.2 门向量

将$x_m$作为指导，寻找每个$x_i$包含的对比线索，生成门：
g i = s i g m o i d ( x m ⊙ x i ) , i ∈ { 1 , 2 } g_i=sigmoid(x_m\odot x_i),i\in \{1,2\} gi​=sigmoid(xm​⊙xi​),i∈{ 1,2}
$g_i$成为有区别的注意力，以不同角度指出了每个$x_i$的语义差异。

2.3 成对交互

通过门向量进行成对交互：
$$\begin{gathered} x_1^{self}=x_1+x_1\odot g_1 \\ {x}_2^{other} \end{gathered}$$