扩散模型应用-图像变形DiffMorpher
本文将对DiffMorpher: Unleashing the Capability of Diffusion Models for Image Morphing,这篇扩散模型应用算法进行讲解。参考资料如下:
[1]. DiffMorpher论文地址
[2]. DiffMorpher代码地址
[3]. [DiffMorpher项目主页]
一、研究背景
- 图像变形(Image morphing)
图像变形是一种图像变换技术,属于计算机视觉和图形学交叉领域的问题。它给定相似物体的两张图像和一组对应关键点(可选),生成一系列变形中间图像,这些中间图像插入两个输入图像之间,能让整个图像序列生成一个平滑过渡的视频。图像变形在深度学习中的数据增强、动画制作、照片编辑等领域有着广泛的应用。 - 传统图像变形技术的局限性
传统图像变形技术主要通过图像变形把两个图像的对应点对齐,然后进行颜色交融。但这种方式存在两个主要问题:- 只在颜色空间操作,无法解释图像纹理和语义的变化;
- 生成的中间图像易出现伪影,效果不自然。经典方法无法创建超出给定输入的新内容,从而容易出现伪影。
- 对抗模型(GAN)与扩散模型(Diffusion model)在图像变形问题中的比较
在前几年,已有使用GAN来完成图像变形的研究。GAN中图像是由高维隐变量生成的,可以通过GAN反演把输入图像变为隐变量,再对隐变量进

最低0.47元/天 解锁文章
1370

被折叠的 条评论
为什么被折叠?



