Learning Multi-Attention Convolutional Neural Network for Fine-Grained Image Recognition

最新推荐文章于 2023-03-08 15:03:48 发布

原创

最新推荐文章于 2023-03-08 15:03:48 发布 · 1.2k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#细粒度分类 #MACNN #Fine Grained Classification #Learning Multi-Attention Convo #Fine Grained Recognition

《Learning Multi-Attention Convolutional Neural Network for Fine-Grained Image Recognition》是微软亚洲研究院在ICCV2017年出的一篇细粒度图像识别论文，它的姊妹篇是《Look Closer to See Better: Recurrent Attention Convolutional Neural Network for Fine-grained Image Recognition》。

一、概述

细粒度识别现在主要依赖于

具有区分度的局部定位（discriminative part localization）
基于局部的精细特征学习（part-based fine-grained feature learning）

目前主流方法是将两者独立开来，忽略了他们两者之间的联系。这篇文章就提出了一个多注意力卷积神经网络（MA-CNN），让part generation 和 feature learning能互相强化。同时模型抛弃手工标记attention part 的方法，采用弱监督学习方法。（手工标注attention part 难定标注位置，且耗费人力）

本文创新点：

利用feature map不同通道（channels）关注的视觉信息不同，峰值响应区域也不同这一特点，聚类响应区域相近的通道，得到 part attentions
本文提出了一个channel grouping loss，目的让part内距离更近（intra-class similarity），不同part距离尽量远（inter-class separability）

二、模型

MA-CNN框架如上图所示。模型分为三部分，base network、channel grouping layers 和part classification sub-networks.

输入一张图片（a）给网络，通过base network 产生feature map(b)；将(b)中的各通道展开，以12个通道为例，得到（c），可见每个通道都有一个峰值响应区域（白色部分），同时有些通道的峰值响应区域相近（同一种颜色外框表示）；文中通过堆叠的全连接层达到聚类效果,把相近的区域归为一类，如图（e），图中划为4类。同类的channel相加，取sigmoid（归一化到0-1）产probabilities，等效于产生4个空间注意区域，即4个mask（实现局部定位），这四个mask分别和feature map 进行点乘，得到4个局部精细化的特征，