Deep Semantic Ranking Based Hashing for Multi-Label Image Retrieval

摘要

这篇paper提出了一种基于深度语义排序的方法来学习hash function，从而保证生成的hash code与多标签图像之间的多层次语义相似。该方法 中采用deep convolutional neural network来学习哈希函数，特征表示以及保持hash code与feature representations之间一致性，从而避免了用手动设计特征进行图像语义表示的限制；此外，采用能够进行编码多级相似信息的ranking list进行指导deep hash function的学习；采用一种基于surrogate loss（代理损失）函数的有效方法进行该学习过程中非光滑和多元排序度量非常棘手的优化问题。实验表明在多标签的公开测试图像数据集（MIRFLICKR-25K和NUS-WIDE）上该方法是state-of-the-art。

主要思路

对于图像检索任务目的无非就是把数据库中的图像，按照和查询图像的相关性由大到小的顺序，依次返回。基于这个思想提出直接让网络学习这个排序，因此该方法称为DSRH（Deep Semantic Ranking Hashing）。事实上，这种做法相当于直接对最终的评测指标进行优化，直接优化排序并不容易，因此使用一个凸上界作为替代（surrogate loss），进行优化。

如上图所示，采用deep convolutional neural network来构建hash function从而学习更加丰富的语义信息；同时，学习到的hash fuction具有语义排序监督，该序列就是查询和图像数据集之间的序列。该学习过程是特征表示和hash code匹配的联合优化，比之前CNNH的两个阶段有效的多。采用surrogate loss函数进行非光滑和多元排序度量策略的优化，同时采用SGD来进行整个mode参数的优化。