Lightweight Texture Correlation Network for Pose Guided Person Image Generation(文献总结)
1.介绍
出发点: 现有方法无法对源域和目标域之间的相关性进行全面建模。他们大多只关注关键点的相关性,而忽略细节纹理。
该文章提出了一种新的纹理相关网络(TCN)来同时建立姿势和纹理的相关性。
TCN为两阶段设计,包括两个网络:
- 姿势引导的人物对齐网络(PGPAN):生成与目标姿势对齐的粗略人物图像
- 纹理相关注意网络(TCAN):在源图像和粗略目标图像之间相关性的指导下生成目标图像。
主要的创新点: 纹理相关注意力模块(TCAM): 它明确地在源图像和粗略目标图像之间建立几何和纹理相关性。
现有的两种主流的改善基于CNN的转换生成高质量人物图像的技术:注意力机制和光流。
- 注意力机制:用于捕捉外观和形状特征之间的影响;
- 光流:模拟从源图像到目标图像的局部变换。