论文翻译：Text-based Image Editing for Food Images with CLIP

                     

 使用 CLIP 对食物图像进行基于文本的图像编辑

图1：通过文本对食品图像进行处理的结果示例。最左边一栏显示的是原始输入图像。"Chahan"（日语中的炒饭）和 "蒸饭"。左起第二至第六列显示了VQGAN-CLIP所处理的图像。每个操作中使用的提示都是将食物名称和 "与 "一个配料名称结合起来。例如，第二列中的两幅图像分别是用提示语 "chahan with egg "和 "rice with egg "生成的。

摘要

        最近，大规模的语言-图像预训练模型，如CLIP，由于其对各种任务，包括分类和图像合成的显著能力而引起了广泛的关注。CLIP和GAN的组合可用于基于文本的图像处理和基于文本的图像合成。迄今为止，已经提出了几个CLIP和GAN的组合模型。然而，它们在食品图像领域的有效性还没有得到全面的研究。在本文中，我们报告了使用VQGANCLIP进行基于文本的食品图像处理的实验结果，并讨论了通过文本进行食品图像处理的可能性。        

关键词

基于文本的图像处理，食物图像处理，语言图像预训练模型，CLIP

1 介绍

        

        随着智能手机和社交媒体的发展，人们在互联网上发布了各种照片。其中，最常张贴的照片之一是吃饭。漂亮的、巨大的、古怪的饭菜照片在一年中很容易成为社交媒体上的一个话题。一些餐馆发布许多好看的照片，通过成为社交媒体上的潮流来增加他们的销售额。

        拍摄一张看起来美味或新奇的照片需要很多试错过程。拍完照片后，他们经常使用先进的图像编辑软件进行编辑。这种软件需要高水平的操作技能或知识

      从2014年的GAN开始，用深度神经网络编辑图像的技术在计算机视觉领域有了显著的发展。在这种演变中，使用自然语言的图像编辑，如ManiGAN和StyleCLIP，作为一种新的图像编辑方式引起了人们的注意，因为它们不需要特殊的技能或知识进行编辑。然而，这些模型大多没有被应用于食品图像，主要应用于人脸和动物图像。

        此外，大规模语言图像预训练模型，如 CLIP，最近因其在分类和图像合成等各种任务中出色的zero-shot能力而备受关注。 CLIP 和 GAN 的结合可以用于基于文本的图像处理和基于文本的图像合成。几个结合CLIP和GAN的模型已经被提出，如StyleCLIP和StyleGAN-NADA。这些方法可以在不训练操纵模型的情况下操纵带有文本的图像。这是可能的，因为 CLIP 接受了 4 亿对文本和图像的训练，并且它了解语言和视觉之间的关系。

        然而，它们在食品图像领域的有效性尚未得到全面检验。本文通过许多实验检验了基于文本的食物图像处理的可能性。作为图像处理方法，我们使用了 VQGANCLIP 。结果，我们证实了在食品领域使用 CLIP 进行基于文本的图像处理的有效性。

2 相关工作

自然语言图像编辑模型有两种主要类型：

        一种是从头开始学习图像-文本对的模型。另一种是使用预先训练的视觉语言模型的模型

 ManiGAN，它学习图像-文本对，包含一个新的文本-图像仿生组合模块和一个细节校正模块。这个GAN通过文本生成转换为指定颜色或纹理的图像。细节校正模块可以提高在编辑细节时保持不相关部分的性能。TediGAN是使用预先训练好的StyleGAN的模型。它有一个相似性模块，通过将图像和文本映射到相同的潜在空间来学习它们之间的相似性。使用在面部图像上训练的StyleGAN，TediGAN不需要生成器的GAN训练时间。然而，这个GAN限制了生成图像的面部领域。从头开始学习图像-文本对的模型需要大量的训练时间和带有文本的图像，限制了编辑的图像类型和操作。

        最近的编辑模型经常使用预先训练好的视觉语言模型的文本编码器和图像编码器。特别是，CLIP是最常见的作为预训练的视觉语言模型。CLIP在从互联网上收集的4亿个图像-文本对数据上进行训练。虽然从头开始训练的模型有有限的训练和狭窄的语言-视觉特征，但CLIP有相当大的训练量和全面的语言-视觉特征。因此，它已被应用于各种计算机视觉任务，如图像分类、检测、分割、VQA和图像合成。

        StyleCLIP通过结合StyleGAN（图像生成中的典型GAN）和CLIP，提出了三种编辑潜空间的方法来操纵图像。有几篇论文研究了通过操纵StyleGAN的潜空间进行图像编辑。然而，这些都是在语义监督下学习的，或者需要人类指导。在本文中，CLIP自动进行这种指导。Paint by Word是一个部分图像编辑模型，它结合了StyleGAN和使用掩码的CLIP。很少有研究能改变图像的某一部分而保留背景。这个模型可以通过编辑真实图像中StyleGAN的潜伏代码w来编辑掩码中的特定部分。然而，本研究使用StyleGAN和BigGAN，它们是专门用于卧室和鸟类的GAN或通用GAN，而不是专门用于膳食。在我们的研究中，我们在膳食领域使用了经过训练的VQGAN的zˆ。我们研究的最终目的是创建一个专门用于食物的图像和文本的图像编辑模型。因此，我们使用了VQGAN-CLIP，并在一组膳食图像和文本上对它们进行了训练。我们还研究了屏蔽功能，该功能只操作图像的一部分，以方便编辑，正如他们所想的那样。

3 方法

3.1 图像操纵模型

        我们用于食品图像编辑的模型是VQGAN-CLIP。通过使用VQGAN进行图像生成部分，它可以通过网格（grid）控制图像。此外，它将使用CNN学习图像组件的词汇，并使用Transformer学习它们的组成。此外，这个模型可以生成高质量的图像。CLIP可以计算出任何语言-视觉特征和图像与文本之间的相似性，而且精确度很高。在传统的图像编辑模型中，模型架构往往将文本固定在语法形式上进行训练。然而，CLIP来自互联网的训练数据，允许各种语法形式，可以处理模糊的文本。这项研究使用了CLIP，因为自然文本编辑需要理解这种模糊的文本。

        我们研究了VQGAN-CLIP，它在饭菜图像上训练VQGAN和CLIP，而不是像ImageNet这样的一般数据集，这是否对饭菜特征具有鲁棒性。

 3.2 结构

        VQGAN-CLIP的结构如图2所示。

        首先，对输入图像进行调整，得到调整后的图像。然后，调整后的图像输入到VQGAN的编码器，生成初始潜伏向量。请注意，是VQGAN的编码簿的维数.接下来，潜伏向量被输入到VQGAN的解码器，而