论文阅读笔记——In-Context Edit

ICEdit 论文阅读笔记
指令图像编辑现有方法的局限：

• 微调类方法（InstructPix2Pix、Emu Edit、 Ultra Edit）：需要大规模数据和算力、精度高但效率低且泛化性低；
• 免训练方法（Prompt-to-Prompt、 StableFlow）：高效但难以理解复杂语义、编辑质量低。
  ICEdit 则关注如何在不牺牲编辑精度和泛化能力的前提下，极大提升训练和推理效率，实现高质量、低成本、易扩展的指令图像编辑范式。与以前的方法相比，ICEdit只有 1% 的可训练参数（200 M）和 0.1% 的训练数据（50 k），仅用 9s 推理。
  

将编辑指令嵌入专为语境化编辑设计的生成提示中，构建如下提示模板：“a side-by-side image of the same {subject}: the left depicts the original {description}, while the right mirrors the left but applies {edit instruction}.” 分析 IC 提示下编辑指令对应的注意力图，发现待修改区域呈现更显著的激活值。借鉴大语言模型的上下文能力，构建双联画的输入。

本文设计了两种框架：

• T2I DiT：通过一种隐式的参考图像注入方法，将参考图像的特征融入到双联画的左边图像表示中，从而在右边图像生成时能够保留参考图像的风格和特征。具体而言，对参考图像进行反演，保留各层步骤的注意力值，将反演得到的注意力值注入代表双莲花左侧的 token，来重建参考图像。但这引入了额外的图像翻转步骤，增加了计算开销，且结果不够稳定。
• Impainting DiT：预设一张并排图像，左侧为图像，右侧为 Mask，使用相同的 IC 提示指导修复，让模型在 Mask 区域生成指令编辑结果。计算成本较低，且结果更稳定，但保留参考图像风格能力较弱。

最终采用 Impainting DiT 的方式 $I_t=E(I_s,T_e$