论文笔记：Attribute Mix

Attribute Mix: Semantic Data Augmentation for Fine-grained Recognition

0 摘要

1. Attribute Mix，属性级别的数据增广策略，用于扩展细粒度样本。原理在于，属性特征在细粒度子类别之间共享，可在图像之间转移
2. 自动属性挖掘方法，发现属于同一超类的属性，将两个图像语义上有意义的属性特征进行属性混合
3. 由于属性可以在同一超类的图像共享，使用来自通用域的图像进一步用属性级标签丰富训练样本

1 引言

传统定位-表示方法：定位区分区域、裁剪、放大；注意力机制；特征更强表示。

数据增广

本文认为，细粒度识别的关键挑战在于受到训练样本的限制，很难扩展到大规模，因此很容易过拟合。所以，本文就通过低成本的方法丰富训练样本，一种简单有效的数据增广方法避免过拟合提高模型性能。

属性混合 Attribute Mix

动机：属性级特征是区分不同子类别的关键，因为所有子类共享相同的属性（比如鸟类都有头、翅膀、尾巴等），可以转移。因此，提出了一种自动属性学习方法来发现属性特征。multi-hot（与one-hot对应）属性级深度分类网络通过迭代掩盖最有区别的部分，使网络专注于对象的不同部分。新生成的图像，加上按比例混合的属性标签（两个属性融合在一起的程度），可以在保持判别性语义含义的同时丰富训练样本。

属性混合在属性级别上融合了两图像，产生了更具语义意义的图像，有助于提高模型的泛化性能

Attribute Mix+

受益于发现的属性，能够仅使用通用标签在属性级别引入更多训练样本。将通用标签表示为一位二进制位监督，表明对象是否来自一般类别（例如，对象是否为鸟）。文章声称，可以在不知道对象的细粒度子类别标签的情况下，将属性特征从通用域无缝转移到细粒度域。通过在属性级别挖掘样本的标准半监督学习策略实现。

贡献

• Attribute Mix，一种数据增强策略
• Attribute Mix +，在属性级别上挖掘细粒度的样本，并且不需要知道所挖掘样本的具体子类别标签
• 三个数据集（CUB-200-2011，FGVC-飞机，斯坦福汽车）上评估，最好性能。

2 相关工作

细粒度分类

1. 定位方法：利用额外信息定位目标的区分区域 $\to$ 弱监督定位方法
2. 特征方法：双线性结构（高阶特征交互使特征更有区别）、注意力机制、度量学习、空间加权
3. 额外数据：Earth Mover’s Diatance、Web data、迁移学习

数据增广

1. 朴素变换：水平翻转、颜色、随机裁剪
2. 自动数据增广
3. Mixup：像素级混合、标签是独热标签的线性组合，对人类来说没有意义；Cutmix、

3 方法

该方法的核心要素包括三个模块：

1. 自动属性挖掘，旨在仅使用图像级标签发现属性
2. Attribute Mix 数据增广，混合两图像的属性特征生成新图像
3. Attribute Mix+，通过在属性级挖掘来自相同通用域的图像丰富训练样本

3.1 属性挖掘

如何仅使用图像级标签获得属性级特征

将 { x ， y } , y ∈ { 0 , 1 } C \{x，y\},y\in\{0,1\}^C { x，y},y∈{ 0,1}C表示为训练图像，并用$y_c=1$表示其对应的独热向量标签，其中$C$是细粒度子类数量，假设属性有$k$个（超类含有，每个子类都有的属性），将$C$类级别标签$y$转换为更详细的$k\times C$属性级别标签$y_A$以进行属性发现。按照含义，$y$是代表类别的独热向量，有${\sum }_{i=1}^C{y}_i=1$，$y^A$代表多热属性级别标签，有${\sum }_{i=1}^{kC}{y}_i^A=k$，为$1$的位置代表了含有特定类别的属性。

移除所有的全连接层，图像经过CNN得到特征图，再经过$1\times 1$卷积得到特征图$f\in {\mathbb{R}}^{h\times w\times kC}$，再经过GAP得到属性级特征向量。原论文中没有提这样的到的属性级别特征向量如何是10的，如何保持和为k，都没有讲。

属性挖掘的流程如下：

1. 用原始图像和multi-hot标签（