【论文阅读笔记】Learning To Detect Unseen Object Classes by Between-Class Attribute Transfer

最新推荐文章于 2023-05-16 15:16:59 发布

原创最新推荐文章于 2023-05-16 15:16:59 发布 · 3k 阅读

10 ·

CC 4.0 BY-SA版权

文章标签：

#Zero short learning

论文整理专栏收录该内容

2 篇文章

订阅专栏

本文探讨了在训练和测试类别完全不相交的情况下，如何通过属性层进行对象分类。介绍了一种基于属性的迁移学习方法，包括直接属性预测(DAP)和间接属性预测(IAP)，并展示了实验结果。

摘要：

本文主要研究训练和测试类别不相交时（即没有目标类别的训练示例）的对象分类问题。在此之前并没有对于毫无关联的训练集和测试集进行对象检测的工作，只是对训练集所包含的样本进行分类。实验表明，通过使用属性层，确实可以构建不需要目标类的任何训练图像的学习对象检测系统。

算法流程：

假设：

$\left ( x_1,l_1{} \right ),...\left ( x_1,l_1{} \right )$ 为训练样本 $x$ 和相应类别标签 $l$ 的成对数据，数量为 $n$ ，总共有 $k$ 个类别，用 $Y=\left \{ y_1,...,y_k \right \}$ 表示。

目的：

学习一个分类器: $f:X\rightarrow Z$ ，其中 $Z=\left \{ z_1,...,z_L \right \}$ 给测试分为 $L$ 类。 $Y$ 为训练集中所包含的类别， $Z$ 为测试集中所包含的类别，两者无交集。

流程：

为实现上述目标，需要建立 $Y$ 与 $Z$ 的关系。因为训练时没有任何关于 $Z$ 的信息，文章提出建立一个人工定义的属性层 $A$ 。该属性层应良好的表现样本的类别信息，且定义起来不能太过复杂。引用一位博主的话：

其实整个算法的精髓也就在于这个属性层A，通过这个属性层，将原本基于图片低维特征的分类器，转变为基于高维语义特征（属性层）的分类器，使得训练出来的分类器，分类能力更广，有突破类别边界的能力。可以类比人的思维方式，当人遇到没见过的东西的时候，虽然不会知道它的名字和所属类别，但是能够抽象出它的高维特征。

为实现迁移学习，构造属性层，文章提出了两种模型：

直接属性预测(Direct attribute prediction DAP)：

在样本和训练类标之间加入一个属性层 $A$ ，利用监督学习方式，可以学习到从 $x$ 生成 $A$ 的属性参数 $\beta$ 。在测试阶段，可以利用属性层 $A$ 来表示测试数据产生的类别 $Z$ ，从而实现迁移学习。

间接属性预测(Indirect attribute prediction IAP)：

在训练阶段和传统的监督训练一样，只是在其标签 $Y$ 上学习一层属性表示层 $A$ 。在测试阶段，利用标签层 $Y$ 和属性层 $A$ 就可以推出测试数据的类别 $Z$ 。

上述的两种模型，可以用概率图模型的知识进行建模。为简单起见，我们假定所有属性都具有二进制值，使得任何训练类 $y$ 的属性表示 $a_y=\left \{ a_1,...a_m \right \}$ ，是固定长度的二进制向量。原则上，可以通过使用回归而不是分类来以相同方式处理连续属性。

对于DAP：可以通过监督学习，得到image-attribute层的概率表示 $P\left ( a\mid x\right )$ ，它是样本 $x$ 对于所有 $a_m$ 的后验概率的乘积。在测试时，每一个类别 $z$ 可以用一个属性向量 $a_z$ 表示。利用贝叶斯公式得到概率公式

$p\left ( z|x \right )= \sum_{a\epsilon \left \{ 0,1 \right \}}^{}Mp\left ( z|a \right )p\left ( a|x \right )=\frac{p(z)}{p(a^{z})}\prod_{m=1}^{M}p(a_{m}^{z}|x)$

由于测试类别Z是未知的，所以可以假设其先验概率相同，即每个 $p(z)$ 的值是相同的，因此可以去除公式中的 $p(z)$ 。同时，借助经验函数 $p\left ( a_m \right )= \frac{1}{K}\sum_{k=1}^{K}a_{m}^{y_k}$ ，表示先验概率 $p(a)$ 。最终由 $f:X\rightarrow Z$ 的推测，可以使用MAP prediction：

$f(x)=\underset{l=1,...,L}{argmax}\prod_{m=1}^{M}\frac{p(a_{m}^{z_l}|x)}{p(a_{m}^{z_l})}$

对于IAP，仅仅调整了属性表示层。在训练阶段和传统的监督训练一样，在其标签上学习属性表示层 $A$ 。在测试阶段，同样可根据MAP prediction，得到最终的结果

关于DAP和IAP的整体过程，借鉴一位博主的话：

中间属性层A是事先人工定义好的，也就是说，对于训练类别Y可以表示成属性向量ay的形式，同样测试类别Z也可以表示为属性向量az的形式。这个属性层的定义要求不太繁琐，而且能够较好地反映出类别的性质。对于DAP来说，先训练一个分类器X->A，利用训练集Y对应的属性向量进行训练。测试时，即可得到测试样本对应的属性向量A，对比测试集Z类别的属性向量，即可得到对于unseen数据的预测类别。

实验结果：

最终的实验结果：DAP的准确率为40.5%，IAP的准确率为27.8%

This results in a multi-class accuracy of 40.5% for DAP, as measured by the mean of the diagonal of the confusion matrix,and a multi-class accuracy of 27.8% for IAP.

此外，作者使用了一个传统的监督训练。有监督的训练所得出的多类准确性达到65.9％，确实比基于属性的学习取得的40.5％更好。但是，考虑到两者使用数据量的差异，在没有或只有很少的训练集可用的领域，本文提出了一种新的解决方法。

参考文献：

[1] C. H. Lampert, H. Nickisch and S. Harmeling, "Learning to detect unseen object classes by between-class attribute transfer," 2009 IEEE Conference on Computer Vision and Pattern Recognition, Miami, FL, 2009, pp. 951-958.

[2] 不会讲段子的正能量小栗子,"Learning To Detect Unseen Object Classes by Between-Class Attribute Transfer(阅读报告)"

https://blog.youkuaiyun.com/u011070272/article/details/73250102

[3] Ace Cheney,"Zero-Shot Learning论文阅读笔记(第一周)",

https://blog.youkuaiyun.com/Accelerato/article/details/101309339