虽然GAN很成功,但是模式崩塌的问题依然存在,本文是从分布级和实例级上对模式崩塌进行了可视化。
1.方法
1.1在分布级上量化模式崩塌
本文部署了一个语义分割网络(统一感知解析网络),分割生成图像和真实数据集中的图像,比较分割出来的类别的分布。统计数据的差异能够揭示GAN忽视的目标类别。统计数据的差别作者采用了两种方法来体现。第一种是在图像样本上,我们测量每个对象类别的总面积(以像素为单位),并收集所有分段对象类别的均值和协方差统计信息,可视化了两个网络的均值统计,比较差别。
mean area表明的是类别的面积,红色是生成图像中各个类别的平均面积,蓝色是真实数据集中各个类别的平均面积。relative delta表明的是相关偏差,即比较生成图像和真实图像中类别的比例,图中的纵坐标也给出了相关的计算公式。从直方图可以看出,WGAN-GP比StyleGAN偏离真实分布更多
第二种是定义了弗雷切特分割距离(FSD),用单个数字总结的统计差异,公式是