xiaozhi77的博客

虚拟试穿通常会出现伪影问题，本文提出一个全新的试穿条件生成器作为服装变形和分割图生成两个阶段的统一模块。在条件生成器中新增的特征融合块可以实现两个阶段的信息交换，避免错位和遮挡。同时，引入了判别器拒绝机制来过滤掉未正确预测的分割图，并确保VITON框架的性能。

许多现有虚拟试衣方法依赖于生成对抗网络（GAN），这类方法在高分辨率下可能出现缺陷。扩散模型被认为是一种具有潜力的替代方法，然而，简单地将服装作为引导扩散模型进行修复（inpainting）并不足以保持服装的的细节。为了克服上述问题，我们提出一个基于模板的修复方法，利用变形模块指导扩散模型进行有效生成。这个变形模块对服装进行初始处理，这有助于保持服装的局部细节。然后我们结合变形的服装图和无服装的人体图，并添加噪声作为扩散模型的输入。