【生成模型之十七】IP-Adapter: Text Compatible Image Prompt Adapter forText-to-Image Diffusion Models

论文：IP-Adapter: Text Compatible Image Prompt Adapter for Text-to-Image Diffusion Models

链接：IP-Adapter: Text Compatible Image Prompt Adapter for Text-to-Image Diffusion Models

类型：Image Prompt  Fine-tuning T2I 

欢迎进群交流WX：lf2637649812

一、总结

解决问题：文本prompt工程比较复杂很难描述清楚，尽管现有的image prompt从预训练模型直接微调的方法是有效的，但它们需要大量的计算资源，并且与其他基础模型、文本提示和结构控件不兼容。因此提出了一种有效且轻量的adapter，用于实现预训练文本到图像扩散模型的图像提示功能。

核心思想：IP-Adapter的关键设计是解耦的交叉注意力机制，该机制将文本特征和图像特征的交叉注意力层分开。尽管我们的方法很简单，但只有22M参数的IP适配器可以实现与完全微调的图像提示模型相当甚至更好的性能。当我们冻结预训练的扩散模型时，所提出的IP-Adapter不仅可以推广到从同一基础模型微调的其他自定义模型，还可以推广到使用现有可控工具的可控生成。

二、