19、基于GAN的图像与序列数据生成技术

基于GAN的图像与序列数据生成技术

1. 基于描述文本的图像生成

1.1 传统方法的局限性

早期基于描述文本生成图像的方法，在训练200个周期时大约需要2个半小时，使用256的批量大小，会消耗约1753MB的GPU内存。但由于该方法是3年多前提出的，生成图像的质量在如今看来并不理想。

1.2 StackGAN：高分辨率文本到图像合成

StackGAN由Han Zhang、Tao Xu和Hongsheng Li等人提出。其工作流程如下：
- 条件增强 ：描述句子的嵌入向量经过条件增强步骤，计算出均值和标准差向量，基于高斯分布生成条件向量。同时，通过在生成器的损失函数中添加Kullback - Leibler散度（KL散度）项，限制均值和标准差向量与嵌入向量的距离。
- 第一阶段生成 ：从特定分布中采样的潜在向量与条件向量结合，作为第一阶段生成器的输入，生成64x64的低分辨率图像。该低分辨率图像和嵌入向量作为第一阶段判别器的输入，判别其保真度。第一阶段生成器和判别器的损失函数如下：
（此处原文档损失函数未完整给出，无法准确呈现）
- 第二阶段生成 ：低分辨率图像和嵌入向量输入到第二阶段生成器，生成256x256的高分辨率图像。高分辨率图像和嵌入向量作为第二阶段判别器的输入，判别其质量。第二阶段的损失函数与第一阶段类似。

如果想尝试StackGAN，作者已在https://github.com/hanzhanggit/StackGAN - Pytorch开源了PyTorch版本。 </