MasaCtrl: Tuning-Free Mutual Self-Attention Control for Consistent Image Synthesis and Editing

• https://openaccess.thecvf.com/content/ICCV2023/papers/Cao_MasaCtrl_Tuning-Free_Mutual_Self-Attention_Control_for_Consistent_Image_Synthesis_and_ICCV_2023_paper.pdf
• https://github.com/TencentARC/MasaCtrl

1. 问题引入

• 针对的是tuning free的一致性生成和编辑任务；
• 做法是将模型的self attn部分改进为mutual self attn，这一部分完成源图片的信息融合，而且为了前背景可以融合自然，提出了mask-guided mutual self attention strategy，其中mask可以通过cross attn来获得；
• 一致性生成是指可以同时生成例如猫的图片，但是不同张图片中要求是同一只猫；
• non regid编辑是指可以改变图片主题的动作等，而不是仅限于改变图片中物体本身，有一些工作可以实现non rigid edit，但是需要对模型进行微调；

2. methods
   

• 首先生成一张原始图片，或者对一张现有图片进行inverse操作，得到denoising process(DP1)，之后定义DP2为生成新图片的过程，之后本文方法的主要操作集中在self attention module，也就是使用DP2的Q去query DP1的K+V，之后进行attn的计算，类似与cross attn，但是本文取名为mutual self attention，其次单纯这样操作只会生成和原始图片几乎一样的图片，所以还需要调整进行mutual attention的timestep数目以及layer数目，本文制定的规则如下；
• 提出的mutual self attn方法在前背景区分度比较大的情况下表现得比较好，但是当前背景出现混淆的时候效果较差，所以本文进一步提出了mask guided mutual self attention，这个mask指示着图片中的主要object，在query的时候就可以区分的进行query属于foreground、background的feature；
• 对于源图片$I_s$和prompt$P_s$，希望是可以得到编辑之后或者直接生成和修改之后的prompt$P$一致且和原图片内容(texture, identity)保持一致的的图片，算法如下：
• 从cross attn中提取出对应的object的mask $M_s,M$，此时的mask guided mutual self attn操作：