Learning Cross-modal Embeddings for Cooking Recipes and Food Images

最新推荐文章于 2024-09-10 19:21:25 发布
原创 最新推荐文章于 2024-09-10 19:21:25 发布 · 739 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#cross-modal retrieval

本文介绍了一种跨模态检索方法，该方法通过将文本和图像映射到共享子空间，并利用余弦相似性和softmax损失来进行检索。研究重点在于从图像检索句子或从句子检索图像。

这是CVPR2017的一篇做cross-modal retrieval的文章，paper和相关数据代码链接http://im2recipe.csail.mit.edu/，作者的homepage https://imatge.upc.edu/web/people/amaia-salvador。
文章要做的事情(recipe retreival)：
输入：image（sentence）+dataset 　　　　　输出：sentence（image） rank list

method
文章的framework如下所示。
framework
主要是将文本和图像映射到共享的子空间，然后在子空间上做cosine similarity loss和softmax loss。

《Learning Cross-modal Embeddings for Cooking Recipes and Food Images》阅读笔记
黄鑫的博客
08-08 1336
来源：CVPR 2017 一、Introduction 文章要做的事情(recipe retreival)： 输入：image（sentence）+dataset 　　　　　输出：sentence（image） rank list 在本文中介绍了Recipe1M数据集，并训练一个食谱和图像联合嵌入的神经网络，应用于图像配方检索任务上。另外，证明通过添加高级分类目标的正则化既提高了检索性能。...
厨艺速成「秘籍」—— 跨模态菜谱检索 | 复旦大学陈静静
BAAIBeijing的博客
04-30 623
导语：看到一道菜的成色，就能得知食材原料和烹饪方法？在近期的AI TIME 青年科学家——AI 2000 学者专场论坛系列报告中，来自复旦大学计算机科学学院的助理教授陈静静博士带来了题为「跨模态菜谱检索」的演讲，从「基于识别的菜谱检索」、「基于跨模态学习的菜谱检索」、「跨域食物迁移」等方面介绍了跨模态菜谱检索任务几年来的前沿研究工作，讨论了该领域未来的研究方向。（回放：h...
【亲测免费】 探索美食新世界：im2recipe - 烹饪食谱与美食图像的跨模态嵌入学习
gitblog_00043的博客
05-09 576
探索美食新世界：im2recipe - 烹饪食谱与美食图像的跨模态嵌入学习 项目介绍 im2recipe 是一个开源项目，其核心在于学习烹饪食谱和食物图片之间的交叉模态嵌入。这个项目的灵感来源于Salvador等人在2017年发表的研究论文，它提供了从图像到食谱的模型训练和评估代码，帮助我们理解并构建图像与文本信息之间的关联。 项目技术分析 该项目基于Torch框架实现，并利用了预训练的深度学习模...
Python-Pic2Recipe根据食品图片猜做法
08-11
Code supporting the CVPR 2017 paper "Learning Cross-modal Embeddings for Cooking Recipes and Food Images"
sceneflow 数据集多少张图片_CVPR2019| 05-08更新12篇论文及代码合集（1篇oral，含医学图像分割/显著性检测/数据集等）...
weixin_36183945的博客
01-14 758
加入极市 专业CV交流群，与 6000+来自腾讯，华为，百度，北大，清华，中科院 等名企名校视觉开发者互动交流！更有机会与 李开复老师 等大牛群内互动！同时提供每月大咖直播分享、真实项目需求对接、干货资讯汇总，行业技术交流 。 点击文末“ 阅读原文 ”立刻申请入群~前段时间，计算机视觉顶会CVPR 2019 公布了接收结果，极市也对此做了相关报道： 1300篇！CVPR2019接收结果公布，你中了...
missing modality
weixin_43845649的博客
02-15 2105
MISSING MODAL
【食品图像识别】跨模态菜谱检索
qq_32907491的博客
03-03 2466
在「跨模态菜谱检索」任务中，给定一张菜品的图像作为模型的输入查询，模型需要检索出制作该菜品相应的菜谱，我们可以将该过程建模为「视觉-文本」的翻译。这项技术可以帮助我们进一步完成实物识别、营养成分估计、菜谱推荐等下游任务。从技术角度来说，「跨模态菜谱检索」任务要求我们首先识别菜品，再将输入图像与菜谱文本关联起来，并且针对结构化的菜谱文本学习高质量表征。因此，该任务涉及到图像识别与理解、跨模态学习、菜谱文本建模等研究领域。本文介绍了基于识别的菜谱检索、基于跨模态学习的菜谱检索、跨域食物迁移等方面的相关工作。
【CVPR2019】完整论文列表二
TomRen
06-11 8314
CVPR 2019 Paper list[1001-1294] CVPR2019 完整列表一 论文题目与链接 Semantic Component Decomposition for Face Attribute Manipulation R3 Adversarial Network for Cross Model Face Recognition Disentan...
自然语言处理会议期刊
Hello World
05-24 6707
列一下自然语言处理(NLP)这个小方向的： 会议(C): ACL (Annual Meeting of the Association for Computational Linguistics) NAACL (Annual Conference of the North American Chapter of Association for Computational Linguistic...
CVPR2017 all paper list
热门推荐
一亩半分地
07-26 3万+
本文给出了CVPR2017的最新的paperlist
nlp-recipes：自然语言处理最佳实践和示例
02-03
NLP最佳做法 近年来，自然语言处理（NLP）的质量和可用性Swift增长，这有助于推动业务对人工智能（AI）解决方案的采用。 在过去的几年中，研究人员一直在将新的深度学习方法应用于NLP。 数据科学家开始从传统方法过渡到最新技术（SOTA）深度神经网络（DNN）算法，该算法使用在大型文本语料库上预先训练的语言模型。 该存储库包含构建NLP系统的示例和最佳实践，以和。 存储库的重点是研究涉及文本和语言问题的研究人员和从业人员中流行的最新方法和常见方案。 总览 该存储库的目标是构建一套全面的工具和示例，以利用NLP算法，神经体系结构和分布式机器学习系统的最新进展。 内容基于我们过去和将来与客户的互动以及与合作伙伴，研究人员和开源社区的合作。 我们希望这些工具可以简化从定义业务问题到解决方案开发的数量级经验，从而可以大大缩短“上市时间”。 另外，示例笔记本将作为指南，并以多种语言展示工具的最佳实践和用法。 在迁移学习，转换器和深度架构的时代，我们相信预训练的模型为许多现实问题提供了统一的解决方案，并允许轻松地处理不同的任务和语言。 因此，我们将优先考虑此类模型，因为它们可以在和排行榜
Probabilistic Embeddings for Cross-Modal Retrieval 论文阅读
最新发布
weixin_44609958的博客
09-10 1766
跨模态检索方法通过为来自多个模态的样本构建一个公共表示空间，通常涉及视觉和语言领域。对于图像及其对应的文字说明，由于其对应关系的多样性，这项任务尤其具有挑战性。给定一个图像（或文字说明），可能有多个文字说明（或图像）同样合理。在本文中，我们认为确定性函数不足以捕捉这种一对多的对应关系。相反，我们提出使用概率跨模态嵌入（PCME），在这种方法中，来自不同模态的样本被表示为公共嵌入空间中的概率分布。
Cross-Modality Person Re-identification with Memory-Based Contrastive Embedding
JJxiao520的博客
08-07 1075
由于模态之间存在差异，VI-ReID 变得更具挑战性，即阶层间的混乱（模态之间）和阶层内的变化（如姿势、视点、光照、背景聚类、遮挡等)。作者提出基于聚合记忆的跨模态深度度量学习框架，该框架受益于越来越多的学习模态感知和模态不可知的质心代理，用于聚类对比和互信息学习。此外，为了抑制模态差异，同时利用历史和最新学习的聚类代理来增强跨模态关联。这种训练机制通过增加学习到的聚类代理的多样性来获得硬正参考，最终实现跨模态图像特征之间更强的“拉紧”效果。
文献翻译和笔记--CHEF：CHEF: Cross-Modal Hierarchical Embeddings for Food Domain Retrieval(用于食物域检索的跨模态分层嵌入)
qq_42014059的博客
12-11 1195
文献下载地址：CHEF: Cross-modal Hierarchical Embeddings for Food Domain Retrieval| Proceedings of the AAAI Conference on Artificial Intelligence 2021AAAI中国计算机学会CCF的A类国际学术会议 摘要 尽管有大量的多模态数据，例如图像-文本对，但在理解单个实体及其在这些数据实例的构建中的不同角色方面几乎没有努力。在这项工作中，我...
文本图像跨媒体检索进展
Hello World
05-15 1万+
主要介绍9篇关于文本图像双向检索任务的9篇论文。
《Adversarial Cross-Modal Retrieval》阅读笔记
黄鑫的博客
08-19 7838
论文地址： https://www.researchgate.net/publication/320541510_Adversarial_Cross-Modal_Retrieval​www.researchgate.net 来源：ACM Multimedia 2017 作者：电子科技大学英才实验学院2014级本科生王泊锟同学以第一作者身份发表，获ACM Multimedia 2017会议最佳...
《Cross-Modal Retrieval in the Cooking Context__Learning Semantic Text-Image Embeddings》
黄鑫的博客
08-08 1106
论文地址： https://arxiv.org/pdf/1804.11146.pdf​arxiv.org 来源：ACM SIGIR2018（暂未发布源码）     一、Introduction: 文章要做的事情(recipe retreival)： 输入：image（sentence）+dataset 　　　　　输出：sentence（image） rank list 在本文中，我...
【AAAI 2021】全部接受论文列表（四）
yinizhilianlove的博客
01-14 6691
来源：AINLPer微信公众号（点击了解一下吧） 编辑: ShuYini 校稿: ShuYini 时间: 2021-01-14 马上春节了，疫情又卷土而来，希望大家注意防护，爱护自己的身体 AAAI 2021论文接收情况   人工智能顶级会议AAAI 2021 已经给出接收论文列表，共有1692篇论文被接收，录取率21%，比去年的20.6%稍微有些上升。单从数量上看，也比去年多了101篇。本届 AAAI 2021已经是第35 届会议了。据 AAAI 2021官方网站，这个 2021年首个人工智能顶会将全.
paper fast review : Face-Voice Matching using Cross-modal Embeddings
贵在坚持
10-20 447
文章目录Face-Voice Matching using Cross-modal EmbeddingsSummary摘要 (中文)Research ObjectiveBackground and Problemsmain workRelated workMethod(s)ConclusionReference(optional)Arouse for me Face-Voice Matching using Cross-modal Embeddings Summary The author using o
Cross-Modal Collaborative Representation Learning and a Large-Scale RGBT Benchmark for Crowd Counting
05-11
这篇论文提出了一种跨模态协作表示学习方法和一个大规模 RGBT 数据集，用于人群计数。该方法主要是通过将可见光图像和热红外图像作为输入，同时训练一个共享的卷积神经网络，来学习两种不同模态之间的关联性，从而提高人群计数的准确性。同时，该论文还提出了一个大规模的 RGBT 数据集，用于评估该方法的性能。实验结果表明，该方法在几种不同的数据集上都取得了优异的表现，并且在该数据集上超过了其他现有的方法。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值