HYY233的博客

A Comprehensive Survey on Cross-modal RetrievalKaiye Wangy, Qiyue Yiny, Wei Wang, Shu Wu, Liang Wang∗, Senior Member, IEEE1. 研究现状：目前跨模态检索主要分为两种方法：(1)real-valued表示学习；(2)binary表示学习。Real-valued表示学习...

Deep Supervised Cross-modal RetrievalLiangli Zhen∗ Peng Hu∗ Xu Wang Dezhong Peng†解决问题：在不同模态下，样本生成可以直接比较的公共表示空间。不仅保证了公共空间各模态数据与标签的相似性，而且保证了语义区分和公共空间模态的不变性，可以有效地学习异构数据的公共表示。主要思想：VGG-19提取图像特征，Word2...

Discrete Latent Factor Model for Cross-Modal Hashing解决问题：在跨模态哈希检索任务中，在精度和训练速度上都有很好的结果主要思想：本文采取的是传统方法DLFH,KDLH。Full learning Algorithm:一般情况下，对于数据向量标签形成的相似矩阵S，全部用于损失计算，及U,V的更新。Stochastic Lea...

Doodle to Search_ Practical Zero-Shot Sketch-Based Image RetrievalSounak Dey∗ , Pau Riba∗ , Anjan Dutta, Josep Llados ´Computer Vison Center, UAB, Spain（西班牙，巴塞罗那大学，计算机视觉中心）Yi-Zhe SongSketchX, ...

Generalizing Fine-Grained Sketch-Based Image Retrieval解决问题：将草图作为查询模式，在不同照片类中，实现匹配特定照片实例的图像检索，实现sketch images-photos。主要思想：VTD特征描述符，在每一个bar类型，可视化草图的类别，并突出其中一个类别以及三个具有代表性草图的实例，即将任何一个草图通过VTD maps k个独特...

MAN_ Moment Alignment Network for Natural Language Moment Retrieval via Iterative Graph Adjustment解决问题：根据自然语言的一句话检索视频所对应的帧片段，并同时考虑到语义错位（e.g. the second time）和结构错位（e.g. after）。主要思想：a language encod...

Polysemous Visual-Semantic Embedding for Cross-Modal Retrieval解决问题：（1）单射嵌入（injective embedding）。当个别实例中存在歧义时，单射嵌入可能会受到影响。考虑一个具有多重含义/意义的模糊实例，例如，多义词和包含多个对象的图像。虽然每个意义/意义都可以映射到嵌入空间中的不同点，但是单射嵌入总是被迫找到一个点，这...

R2GAN_ Cross-Modal Recipe Retrieval With Generative Adversarial Network解决问题：图像到菜谱检索的目标是搜索相关菜谱，这些菜谱以文本形式描述给定的食物图片作为查询的菜肴的制作过程。与此类似，但方向相反，本文解决的是给定原始图像，根据给定食谱烹饪的可能性对食物图像进行排序，实现跨模态检索。主要思想：R2GAN网络：两个模态...

Self-Supervised Adversarial Hashing Networks for Cross-Modal Retrieval解决问题：1.在模型训练时利用单标签去估计语义相关性，但实际数据集中有多类标签同时存在，利用多标签更精准；2.利用哈希编码会导致高维数据的丢失主要思想：自监督对抗哈希网络将标签作为自监督学习的标准，建立两个对抗网络，可让文本，图像，标签在特征提取后...