Motivation
1、Yang et al提出的zero-shot hashing方法是通过在已知类别和未知类别之间构建一个中间语义向量空间(类别标签的词向量空间)来迁移监督知识。
但是由于已知类别和未知类别的数据分布不同,直接将从已知类别学习到的哈希函数用于未知类别,会引起偏差(projection domain shift problem)【为此,Pachori提出无监督的domain-adaptation模型,通过未知类别的查询数据来更新哈希函数】
另外,该方法是从预训练好的AlexNet中提取图像特征,再通过映射、量化等学习哈希编码。但是这些固定的图像特征不是最优的,我们希望它们能够有保持图像相似性的能力。
2、提出transductive zero-shot hashing,也就是说训练集中也可以包含未知类别的样本,但它们是无标签的。而在现实生活中,由于已知类别更常见,所以也会存在部分无标签的已知类别数据。在TZSH中,有两部分数据:有标签数据(全部来自已知类别),无标签数据(包含已知类别和未知类别)。
Contributions
1、提出 deep transductive zero-shot hashing来解决projection domain shift问题
2、提出coarse-to-fine similarity mining来迁移监督知识
3、实验验证方法的有效性
Methods
Common Semantic Representation via Shared Two-streams Network:
为了将已知类别和未知类别映射到同一语义向量空间,设计了two-stream的网络结构。first-stream处理带标签数据,second-stream处理无标签数据,它们共享参数并且共同训练。
Coarse-to-Fine Similarity Mining:
1)Coarse Similarity Mining:
