【CD】Collaborative Diffusion for Multi-Modal Face Generation and Editing

Collaborative Diffusion for Multi-Modal Face Generation and Editing

会议/期刊：CVPR 2023
作者：

Project page: https://ziqihuangg.github.io/projects/collaborative-diffusion.html
Code: https://github.com/ziqihuangg/Collaborative-Diffusion

背景

现有的扩散模型主要集中在单峰控制上，即扩散过程仅由一种条件模态驱动。

为了进一步释放用户的创造力，希望模型能够同时由多种模态控制，例如通过描述年龄（文本驱动）和绘制面部形状（面具驱动）来生成和编辑面部。

points

多模态 协同扩散
其中预训练的单峰扩散模型协作实现多模态人脸生成和编辑，而无需重新训练。

由不同模态驱动的扩散模型在潜在的去噪步骤方面具有内在的互补性，在这些步骤中可以建立双边连接。