Deep Semantic Ranking Based Hashing for Multi-Label Image Retrieval

最新推荐文章于 2023-02-22 20:47:28 发布

原创

最新推荐文章于 2023-02-22 20:47:28 发布 · 1.7k 阅读

3 ·

CC 4.0 BY-SA版权

该论文提出了一种深度语义排序哈希（DSRH）方法，利用深度卷积神经网络学习哈希函数，以保证多标签图像的多层次语义相似性。DSRH通过排序监督和代理损失函数优化，实现特征表示和哈希码的一致性，提高了图像检索的性能。在MIRFLICKR-25K和NUS-WIDE数据集上的实验显示了其优越性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

摘要

这篇paper提出了一种基于深度语义排序的方法来学习hash function，从而保证生成的hash code与多标签图像之间的多层次语义相似。该方法中采用deep convolutional neural network来学习哈希函数，特征表示以及保持hash code与feature representations之间一致性，从而避免了用手动设计特征进行图像语义表示的限制；此外，采用能够进行编码多级相似信息的ranking list进行指导deep hash function的学习；采用一种基于surrogate loss（代理损失）函数的有效方法进行该学习过程中非光滑和多元排序度量非常棘手的优化问题。实验表明在多标签的公开测试图像数据集（MIRFLICKR-25K和NUS-WIDE）上该方法是state-of-the-art。

主要思路

对于图像检索任务目的无非就是把数据库中的图像，按照和查询图像的相关性由大到小的顺序，依次返回。基于这个思想提出直接让网络学习这个排序，因此该方法称为DSRH（Deep Semantic Ranking Hashing）。事实上，这种做法相当于直接对最终的评测指标进行优化，直接优化排序并不容易，因此使用一个凸上界作为替代（surrogate loss），进行优化。

如上图所示，采用deep convolutional neural network来构建hash function从而学习更加丰富的语义信息；同时，学习到的hash fuction具有语义排序监督，该序列就是查询和图像数据集之间的序列。该学习过程是特征表示和hash code匹配的联合优化，比之前CNNH的两个阶段有效的多。采用surrogate loss函数进行非光滑和多元排序度量策略的优化，同时采用SGD来进行整个mode参数的优化。