Deep Visual-Semantic Hashing for Cross-Modal Retreival (DVSH)

会议：2016 KDD

Problem：使用DVSH以一种end-to-end的深度学习方式对图像和文本生成紧凑的哈希编码。

Contributions：1. 一个深度的视觉-语义融合网络用以在联合嵌入空间学习同构的哈希编码，从而每一个image-sentence对的表达被紧紧地融合和联系在一起。2.一个图像的哈希网络和一个句子的哈希网络，可以学习特定模态的非线性哈希函数，该哈希函数可以将图像和句子映射到联合嵌入空间中，得到紧致的哈希编码。3. 一种新的cosine最大边界loss，可以用于保持pairwise的相似性信息以及增强对outliers的鲁棒性。4.一种新的bitwise最大边界loss，用以控制binary哈希编码的质量。

Methods：

目标函数：

其中：

通过最小化cosine最大边界loss（6），可以得到鲁棒的相似性保持的表达学习；通过最小化bitwise最大边界loss（7），可以得到高质量的紧凑的binary哈希编码；通过最小化平方loss（8）-（9），可以有效、高效地生成样本外的编码。