《Learning Cross-modal Embeddings for Cooking Recipes and Food Images》阅读笔记

论文地址：

https://www.researchgate.net/publication/320964718_Learning_Cross-Modal_Embeddings_for_Cooking_Recipes_and_Food_Images​www.researchgate.net

来源：CVPR 2017

一、Introduction

文章要做的事情(recipe retreival)：

输入：image（sentence）+dataset 　　　　　输出：sentence（image） rank list

在本文中介绍了Recipe1M数据集，并训练一个食谱和图像联合嵌入的神经网络，应用于图像配方检索任务上。另外，证明通过添加高级分类目标的正则化既提高了检索性能。

二、Recipe1M dataset

本文提出Recipe1M数据集，其中包含一百万个带有相关图像的结构化烹饪配方。

数据集下载地址：

im2recipe​im2recipe.csail.mit.edu

三、Model

 

将文本和图像映射到共享的子空间，然后在子空间cosine similarity loss和softmax loss

1.Learning Embeddings

1）Representation of recipes

Ingredients：对由word2vec算法获得的预训练嵌入向量用双向LSTM（成分列表是无序集合,使用双向LSTM模型，该模型同时考虑前