商汤提出Shining Yourself！首个高保真饰品虚拟试戴新方法！

🌐 社群导航

🔗 点击加入➡️【AIGC/LLM/MLLM/3D/自动驾驶】 技术交流群

🔗 点击加入➡️【2-3月CCF投稿】交流群

数源AI 最新论文解读系列

论文名：Shining Yourself: High-Fidelity Ornaments Virtual Try-on with Diffusion Model

论文链接：https://arxiv.org/pdf/2503.16065

导读

随着扩散模型成为图像生成领域的事实上的标准，它也被广泛应用于虚拟试戴领域。给定一件物品的参考图像和一个模特的目标图像，任务是使用图像生成方法获得试穿效果的预览。由于不需要亲自试穿或使用物理试衣间，它在零售、电子商务和广告等各种应用中的大量广告材料生成方面具有巨大潜力。

简介

虽然基于扩散模型的服装和鞋子虚拟试戴已经受到关注，但手镯、戒指、耳环和项链等饰品的虚拟试戴在很大程度上仍未得到探索。由于大多数饰品中存在复杂的微小图案和重复的几何子结构，在饰品和模特之间存在较大的姿态和尺度变化时，更难保证身份和外观的一致性。本文提出了饰品虚拟试戴任务，并提出了一种改进饰品虚拟试戴的几何和外观保留的方法。具体来说，我们在去噪过程的迭代方案中估计一个准确的佩戴掩码，以改善饰品和模特之间的对齐。为了保留结构细节，我们进一步对注意力层进行正则化，以隐式方式将参考饰品掩码映射到佩戴掩码。实验结果表明，我们的方法成功地将参考图像中的饰品佩戴到目标模特身上，在处理尺度和姿态的显著差异的同时保留了身份，并实现了逼真的视觉效果。

方法与模型<