AttnGAN: Fine-Grained Text to Image Generationwith Attentional Generative Adversarial Networks 论文解读

attnGAN是CVPR 2018的一篇文章，我觉得写得很好，是十分值得一读的文章。文章引进了注意力（attention）机制。

Attentional Generative Adversarial Network(AttnGAN)能够生成细粒度（fine-grained）细节的的图片，与之前的text to image最好的 文章相比在CUB数据集上的inception score 提高了14.14%，而在COCO数据集上的性能提高了惊人的170.25%。这篇文章首次提出了分层的注意力机制的GAN网络能够自动的在单词水平上实现与图片中的某个子区域的映射，从而实现细粒度的细节。

论文链接: https://arxiv.org/pdf/1711.10485.pdf.
StackGAN++论文解读: https://blog.youkuaiyun.com/weixin_43551972/article/details/89884003.

这篇文章的主要创新点有两处：

• 注意力生成网络（attentional generative network）。它能够在单词的水平上实现单词与图片中的某个子区域的映射，从而实现细粒度的图片细节。
• 提出了DAMSM（Deep Attentional Multimodal Similarity Model）模块，进而提出了DAMSM损失函数，加入到整个网络的损失函数中后，有利于生成更高质量的图片。

整个网络结构为：