阅读笔记：自动发现，关系估计，学习上千个类别的语义属性，扩展zero-shot learning

论文《Automatic Discovery, Association Estimation and Learning of Semantic Attributes for a Thousand Categories》。

论文地址：https://arxiv.org/pdf/1704.03607.pdf 

  本文已经被CVPR2017接收，针对的是基于属性的识别模型（attribute-based recognition models）中，属性词典（attribute vocabulary）和类与属性的关系（class-attribute associations）需要专业人士人工定义的问题，比如基于属性的识别算法的经典文章之一《Learning To Detect Unseen Object Classes by Between-Class Attribute Transfer》（可参考上一篇博文）所提供的方法。作者提出了一种端对端（end-to-end）的非监督属性学习算法。首先，基于文本语料库自动发现显著的多样性和区分性强的词典，并且该词典需要与人类认知中的语义概念属性高度相关。之后，作者利用深度卷积神经网络最优化了类与属性之间的关系（class-attribute associations），并使用linguistic prior方法使得模型对噪声和缺失数据具有抵抗性，增强了模型的鲁棒性。该方法在三个数据集（ImageNet、Animals with Attributes、aPascal/aYahoo）上实现的zero-shot learning均得到目前最好水平。作者也公开了在ImageNet上学习到的高维特征。

主要的贡献：
1、提出了一种新的从文本中挖掘属性的方法，挖掘到的属性具有 “区分性”、“多样性”、“显著性”并且与人类认知的语义概念属性高度相关；
2、提出了一种基于深度卷积神经网络的建立属性与类别之间联系的方法，并且考虑了文本语料库中的 噪声和缺失值；
3、实现了在三个数据集上的zero-shot learning的最好效果。
4、公开了在ImageNet上学习到的高维属性。（属性数据的下载地址为：http://cvhci.anthropomatik.kit.edu/~zalhalah/）

  先解释一下zero-shot learning。Zero-shot learning简单来说就是识别从未见过的数据类别，即训练的分类器不仅仅能够在识别出训练集中已有的数据类别，还可以对于未见过的数据类别进行区分。这是一个很有用的功能，使得计算机能够有知识迁移的能力，并无需任何样本标签，很符合现实生活中海量数据的存在形式。

算法内容

     主要分为三个部分：属性的发现、类与属性之间关系的发现和基于属性的样本分类。

发现和学习语义属性

     对问题进行数学形式化：设文本语料库为D，对象类别为C，总共有M类，设W为从D中学习到的词典，算法的目标是选择一个子集A属于W，能够最好地描述C，即：

其中，b为词典的大小，F为子集S的描述函数，优化该函数可以选择出最优的子集A，所以这部分的工作就是对于函数F进行建模。对于选择出来的A集合，需要具有三个性质：a)区分性：能够对类别具有很好的区分性；b)多样性：能够从多个方面对类别进行描述；c)显著性：能够代表人类的认知。

a.区分性：设集合V={v1,...,vj}为tfidf提取的重要性特征，即vij表示词wi在文档dj中的重要性。建立一个无向全连接图G(N,E)，每个结点ni都代表了一个类别ci，每条边代表了集合S中词的对于不同类别的区分能力，可写成：

对于每一个结点，设