生成清晰图像

生成清新图像：(attention is really becoming [all you need])
1.利用卷积，提取清晰图像的像素
2.华人博士生首次尝试用两个Transformer构建一个GAN

构建一个GAN,又称为TransGAN
特点：GAN,训练本身具有较高的不稳定性

transformer编译器为基础块，并尽量最小程度的改变。编码器有两部件组成。
第一部件：多头自注意力模块构成
第二部件：GELU非线性的前馈 MLP(多层感知器)
#在两个部件之前均使用归一化，残差连接

内存友好的生成器
问题：NLP中的每个transformer将每个此作为输入，如果以类似的 方法通过堆叠Transformer编码器
来逐像素地生成图像，则低分辨率图像可能导致长序列以及更高自注意力开销。
答案：
一是：避免过高的开销
二是：受CNN的GAN中常用设计理念的启发，在多个阶段迭代地提升分辨率
他们的策略是逐步增加输入序列，并减低嵌入维数