Cross-Modal Retrieval in the Cooking Context：Learning Semantic Text-Image Embeddings

最新推荐文章于 2024-05-21 14:46:10 发布

原创最新推荐文章于 2024-05-21 14:46:10 发布 · 498 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#cross-modal retrieval

跨媒体专栏收录该内容

23 篇文章

订阅专栏

本文介绍了一篇关于跨模态检索的研究论文，该研究提出了基于图像和文本输入的互检索方法，并通过实验验证了其有效性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

这是 ACM SIGIR2018的一篇做cross-modal retrieval的文章，paper链接 https://arxiv.org/pdf/1804.11146.pdf，作者是巴黎第六大学的PHD，作者的homepage http://webia.lip6.fr/~carvalho/static/home/，code暂时没有被released出来。
文章要做的事情(recipe retreival)：
输入：image（sentence）+dataset 　　　　　输出：sentence（image） rank list
文章中show出来的实验结果如下所示。
example_caption
与state-of-the-art比较的实验结果如下所示。
comparision with SOTA
method
文章的framework如下所示。

文章中的三个点：

image与ingredients和instructions concatenation。
image与ingredients。
在训练的过程中采用adaptive strategy，主要思想就是对统计两个triplet loss中不为0的值得个数，然后分别用这个triplet loss除以统计的个数（对triplet loss取平均），实验结果表明这种方法效果比较好。