生成人工智能研究为创作者提供引导式图像结构控制

新的研究正在提升人工智能的创造力，通过文本引导的图像编辑工具。这项研究提出了一种使用即插即用扩散特征（PnP-DF）的框架，可以指导真实和精确的图像生成。视觉内容创作者可以通过一个提示图像和几个描述性单词，将图像转换为视觉效果。

可靠而轻松地编辑和生成内容的能力有可能扩大艺术家、设计师和创作者的创作可能性。它还可以加强依赖动画、视觉设计和图像编辑的行业。

“最近的文本到图像生成模型标志着数字内容创作进入了一个新时代。然而，将它们应用于现实世界应用程序的主要挑战是缺乏用户可控性，这在很大程度上被限制为仅通过输入文本来指导生成。我们的工作是为用户提供对图像布局控制的首批方法之一，” Narek Tumanyan 说，魏茨曼科学研究所的主要作者和博士候选人。

最近在生成人工智能方面的突破为开发强大的文本到图像模型开辟了新的途径。然而，复杂性、模糊性和对自定义内容的需求限制了当前的渲染技术。

该研究介绍了一种使用 PnP DFs 的新方法，该方法改进了图像编辑和生成过程，使创作者能够更好地控制其最终产品。

研究人员从一个简单的问题开始：扩散模型是如何表示和捕捉图像的形状或轮廓的？该研究探索了图像在生成过程中的内部表征，并考察了这些表征如何编码形状和语义信息。

新方法控制生成的布局，而无需训练新的扩散模型或对其进行调整，而是通过理解空间信息是如何在预训练的文本到图像模型中编码的。在生成过程中，模型从引入的引导图像中提取扩散特征，并将其注入生成过程的每个步骤，从而对新图像的结构进行细粒度控制。

通过结合这些空间特征，扩散模型对新图像进行细化，以匹配制导结构。它迭代地执行这一操作，更新图像特征，