13、图像到图像转换技术：Pix2pixHD与CycleGAN详解

图像到图像转换技术：Pix2pixHD与CycleGAN详解

一、Pix2pixHD：高分辨率图像翻译

1.1 模型概述

Pix2pixHD是对pix2pix模型的升级，能够支持2048x1024分辨率且高质量的图像到图像翻译。在之前的实验中，我们可以生成256x256的图像，而Pix2pixHD则在分辨率上有了显著提升。

1.2 模型架构

1.2.1 生成器网络

采用两阶段方法逐步训练和优化网络：
- 第一阶段：由全局生成器（global generator）生成1024x512的低分辨率图像。
- 第二阶段：通过局部增强网络（local enhancer network）将图像放大到约2048x1024大小。还可以在最后添加另一个局部增强网络来生成4096x2048的图像。并且，全局生成器的最后一个特征图会通过逐元素相加的方式插入到局部增强网络中（在残差块之前），以便将更多全局信息引入高分辨率图像。

graph LR
    A[输入] --> B[全局生成器]
    B --> C(1024x512图像)
    C --> D[局部增强网络]
    D --> E(2048x1024图像)

1.2.2 判别器网络

判别器网络采用多尺度设计，三个相同的判别器网络分别处理不同尺度的图像（原始大小、1/2大小和1/4大小），并将它们的损失值相加。此外，还添加了特征匹配损失（feature matching loss）到最终的判别器损失中