飞桨论文复现挑战赛（第四期）冠军 —— PGAN-Paddle

论文复现：Progressive Growing of GANs for Improved Quality, Stability, and Variation

一、简介

本文提出了一种新的训练 GAN 的方法——在训练过程中逐步增加生成器和鉴别器的卷积层：从低分辨率开始，随着训练的进行，添加更高分辨率的卷积层，对更加精细的细节进行建模，生成更高分辨率和质量的图像。

这个方法既加快了 GAN 的训练速度，又增加了训练的稳定性，因为预先训练的低分辨率层能给更难收敛的高分辨率层带来更有利于训练的隐藏编码。

本文还提出了一种新的评估 GAN 生成图像的指标——Sliced Wasserstein Distance（SWD），来评估源图和生成图像的质量和变化。

论文链接：Progressive Growing of GANs for Improved Quality, Stability, and Variation

赛场：

• 飞桨论文复现挑战赛（第四期）
• 飞桨论文复现挑战赛（第四期）榜单

二、复现精度

参考官方开源的 pytorch 版本代码 https://github.com/facebookresearch/pytorch_GAN_zoo，基于 paddlepaddle 深度学习框架，对文献算法进行复现后，本项目达到的测试精度，如下表所示。 参考文献的最高精度为 CelebA MS-SSIM=0.2838, SWD=2.64(64)

指标	SWD × $10^3$	MS-SSIM
分辨率	128、64、32、16	128
paddle 版本精度	4.46、2.61、4.98、11.41	0.2719
参考文献精度	4.62、2.64、3.78、6.06	0.2838

超参数配置如下：

详见 PGAN-Paddle/models/trainer/standard_configurations/pgan_config.py

超参数名	设置值	说明
miniBatchSize	32	Mini batch size
initBiasToZero	True	是否把网络的 bias 初始化为 0？
perChannelNormalization	True	Per channel normalization
lossMode	WGANGP	loss mode，默认
lambdaGP	10.0	Gradient penalty coefficient (WGANGP)
leakyness	0.2	Leakyness of the leakyRelU activation function
epsilonD	0.001	Weight penalty on $D(x{)}^2$
miniBatchStdDev	True	Mini batch regularization
baseLearningRate	0.001	Base learning rate
GDPP	False	是否使用 GDPP loss 加入训练？

三、数据集

本项目使用的是 celeba 数据集。（CelebA）是一个大规模人脸属性数据集，拥有超过 20 万张名人头像。该数据集中的图像包含大量姿势变化和背景噪音以及模糊。

• 数据集概述：

  • 图像数量：202599 张人脸图像
  • 图像大小：178 × 218 分辨率
  • 数据集名称：img_align_celeba