细粒度图像识别Object-Part Attention Driven Discriminative Localization for Fine-grained Image Classificatio

细粒度图像识别Object-Part Attention Driven Discriminative Localization for Fine-grained Image Classification（OPADDL） 论文笔记

---

原文：Object-Part Attention Driven Discriminative Localization for Fine-grained Image Classification（2017.4.6）
作者：Yuxin Peng, Xiangteng He, and Junjie Zhao（清华大学）
下载地址：https://arxiv.org/abs/1704.01740

细粒度图像识别系列其他文章：

• Mask-CNN：http://blog.youkuaiyun.com/cyiano/article/details/71440358
• PDFS：http://blog.youkuaiyun.com/cyiano/article/details/71629754

1 简介

• 细粒度图像识别是现在图像分类中一个颇具挑战性的任务，它的目标是在一个大类中的数百数千个子类中正确识别目标。相同的子类中物体的动作姿态可能大不相同，不同的子类中物体可能又有着相同的动作姿态，这是识别的一大难点。细粒度图像分类的关键点在寻找一些存在细微差别的局部区域（比如鸟类的喙、眼睛、爪子等），因此，现有的细粒度图像识别算法不但寻找图像中的整个物体（object），还寻找一些有区别的局部（part）。
  
  
• 过去常用的生成object和part算法为Selective search，但它的召回率高，精准度低。细粒度图像识别中的寻找object和part可以视为一个两级注意力模型，一级是寻找object，另一级是寻找parts。大多数算法在训练寻找object和part的网络时都依赖于object-level attention 和 parts annotations等额外标注，这是一个非常大的劳动量。此为第一个限制。
• 虽然现在有很多人开始不用annotations来训练寻找object和part的网络，但他们的生成方法破坏了object和parts之间的关联性，这就导致生成的parts包含大量背景，且parts之间互相重叠严重。此为第二个限制。
• 为了解决上述两个限制，作者提出了object-part attention driven discriminative localization(OPADDL)方法。它在生成object和part方面使用了两个模型：
  
  • Object-Part Attention Model：该模型可以不利用人工annotaions信息来生成object和parts。它的注意力分为两级：Object级注意力模型利用CNN中的全局平均池化提取saliency map，以定位物体在图中的位置；Part级注意力模型首先选出有区别的部分，然后再把它们根据神经网络中的 cluster pattern 排列起来，以学习局部特征。将两级模型连接起来，就可以增强multi-view and multi-scale的特征学习。
  • Object-Part Spatial Constraint Model：该模型同样分为两个约束：Object级空间约束强行让选择出来的parts定位到object区域中；Part级空间约束减少parts中的重叠，且强调parts的显著性，这样可以消除重复且提高parts的区分性。两种空间约束联合起来，不仅可以发现更多显著的局部细节，还可以大大提高细粒度图像分类的准确率。
• 最后强调一下，作者使用的弱监督方法，即训练和测试时不用任何annotations！

2 相关工作

• 本章就不详细展开了，有兴趣的读者可以看看原文。提一下，现有的细粒度图像识别方法可以分成三类：Ensemble of Networks Based Methods、Visual Attention Based Methods、Part Detection Based Method。

3 OPADDL模型

• OPADDL模型的全部结构正如上图所呈示，咋一看模型十分复杂，接下来我们把模型进行拆分，一块一块地说明。

A. Object-level Attention Model

• 现有的很多弱监督模型着重于提取parts，而忽略了object的定位，事先提取object是可以除去很多背景噪声的。作者使用saliency extraction方法来自动定位object，其中分为两个内容：Patch Filter滤掉一张图中的背景patch，保留和object有关的patch来训练一个CNN网络ClassNet；Saliency Extraction通过全局平均池化（GAP）提取saliency map，完成object的定位。整个网络称为ObjectNet。
  
  • Patch Filter：对于一张图，作者先用传统的selective search生成一堆patch，再用一个事先在ImageNet上预训练好的CNN（作者称之为FilterNet）进一步筛掉更多的背景patch。筛选的准则就是设置一个阈值，CNN的softmax层的输出（根据标签）高于阈值才保留。注意这个patch filter只在训练阶段使用，测试时就直接上ClassNet了。
  • **Saliency Extraction：**Saliency map表明有在CNN子类别识别中做出贡献的区域（Fig.4第二行）。上一步用patch filter筛出一些包含pbject的patch后，用CAM来生成子类别c的saliency map Mc