qq_40680309的博客

摘要：本文研究了图像-文本匹配的问题。推断对象或其他显著事物之间潜在语义对齐。和句子中相应的单词可以捕捉视觉和语言之间细粒度的相互作用，并使图像-文本匹配更容易解释。之前的工作要么简单地聚合所有可能的区域和单词对的相似性，而不不同地关注越来越不重要的单词或区域，要么使用多步骤注意过程来捕获有限数量较少的语义对齐。在本文中，我们提出了堆叠交叉注意，利用图像区域和单词作为上下文来发现句子的完整潜在排列，并推断图像-文本相似性。我们的方法在MSCOCO和Flickr30K数据集上实现了最先进的结果。在Flickr

GCNH：Graph Convolutional Network Hashing 阅读笔记摘要：摘要——最近，基于图的通过亲和力图学习保持相似性的二进制码的哈希算法在大规模图像检索中得到了广泛的研究。然而，大多数基于图的哈希方法诉诸于棘手的二进制二次程序，使它们无法扩展到大量数据。在本文中，我们提出了一种新的基于图卷积网络的哈希框架，称为GCNH，它直接在图像集和图像集上建立的亲和图上进行光谱卷积操作，自然产生保持相似性的二进制嵌入。GCNH与传统的图哈希方法有根本的不同，后者采用亲和图作为目标函数中唯

SDML:Scalable Deep Multimodal Learning for Cross-Modal Retrieval 阅读笔记2019--SIGIR--有代码摘要：跨模态检索以一种类型数据作为查询来检索另一种类型的相关数据。大多数现有的跨模态检索方法都被提出以联合方式学习一个共同的子空间，在整个训练过程中必须涉及来自所有模式的数据。对于这些方法，不同模态特定变换的最优参数相互依赖，在处理来自新模态的样本时，必须对整个模型进行重新训练。本文提出了一种新的跨模态检索方法，即可伸缩深度多模态学

SVHN:Separated Variational Hashing Networks for Cross-ModalRetrieval 阅读笔记摘要：跨模态哈希由于其低存储成本和高查询速度，已成功地应用于多媒体检索应用中的相似性搜索。它将高维数据投影到一个共享的同构哈明空间，具有相似的二进制代码的语义相似数据。在某些应用中，由于某些隐私、秘密、存储限制，以及计算资源限制，可能不能同时获得或训练所有的模式。然而，大多数现有的跨模态哈希方法都需要所有的模式来共同学习公共的汉明空间，从而阻碍了它们无法处..

GCH:Graph Convolutional Network Hashing for Cross-Modal Retrieval 阅读笔记摘要：基于深度网络的跨模态检索最近取得了重大进展。然而，弥合模率差距以进一步提高检索精度仍然是一个关键的瓶颈。在本文中，我们提出了一种图卷积散希方法，它通过亲和图学习模态统一的二进制码。构建了一个端到端深度体系结构：一个语义编码器模块、两个特征编码网络和一个图形卷积网络(GCN)。我们设计了一个语义编码器作为一个教师模块，来指导特征编码过程。学生模块，为语义信息的利

跨模态搜索——MAP计算过程1.汉明距计算：公式：解释：不同的位数越多，汉明距越大代码：def calc_hamming_dist(B1, B2): q = B2.shape[1] #哈希码位数 if len(B1.shape) < 2: B1 = B1.unsqueeze(0) distH = 0.5 * (q - B1.mm(B2.t())) #计算汉明码距离 公式4 return distH输入：B1: [1,