2025_NIPS_Real-World Image Variation by Aligning Diffusion Inversion Chain

一、文章主要内容总结

该研究针对现有扩散模型在生成真实世界图像变体时存在的领域差距问题，提出了一种无需训练（training-free）的推理管道RIVAL（Real-world Image Variation by Alignment），核心目标是基于单张真实世界图像样本，生成语义一致、视觉质量高的多样化图像变体。

1. 核心问题：现有文本驱动扩散模型（如Stable Diffusion）生成的图像与真实世界图像存在领域差距，根源是扩散过程中潜在变量的分布不匹配；传统方法要么需要额外训练/调优，要么无法同时保留真实图像的语义内容与低层级特征（如纹理、色调）。
2. 技术框架：
   • 先通过DDIM反转将参考图像转换为反转潜在链（inversion chain）；
   • 以随机潜在变量初始化生成链（denoising chain）；
   • 通过两大核心模块对齐两条链的潜在分布：跨图像自注意力注入（实现特征交互）和分步潜在归一化（对齐分布）。
3. 应用场景：除核心的真实世界图像变体生成外，还可扩展至文本-图像条件生成、风格迁移、示例驱动图像修复等任务，且能与ControlNet、DreamBooth等技术结合。
4. 实验结果：在语义相似度（CLIP得分）、感知质量（LPIPS、KID）和用户偏好上显著优于Stable Diffusion、DALL·E 2等现有方法，无需额外参数优化即可实现高质量生成