Real-World Image Variation by Aligning Diffusion Inversion Chain

• https://proceedings.neurips.cc/paper_files/paper/2023/file/61960fdfda4d4e95fa1c1f6e64bfe8bc-Paper-Conference.pdf
• https://rival-diff.github.io/

1. 问题引入

• 针对的是image varation generation这个任务，tuning free的；

2. methods

• $C$表示condition，$R$表示exampler image，$X$表示latent feature，$G$表示生成的image variation，即裂变之后的图片；首先基于$R$进行inversion得到inverted latent feature chain { X R 0 , ⋯   , X R T } \{X^0_R,\cdots,X_R^T\} {XR0​,⋯,XRT​}，之后随机采样$X_G^T$作为generation chain的初始latent，操作的就是generation chain中的latent { X G T , ⋯   , X G 0 } \{X^T_G,\cdots,X_G^0\} {XGT​,⋯,XG0​}
• Cross-Image Self-Attention Injection：针对self attn层进行操作，其中$\oplus$表示concat的操作,
• Inverted Latent Chain Alignment：仅仅使用上述方法在面对真实图像时候还是不够的，分为两部分，一部分是initial latent $X_G^T$的初始化，因为inversed的$X_R^T$的分布和预设的标准正态分布不一定一致：
  另一部分是CFG导致的inversed的不准确问题，在step的早期进行align操作，$C^{\ast }$表示null text：