论文阅读:Seeing What a GAN Cannot Generate

本文探讨了GAN的模式崩塌问题,通过分布级和实例级的量化方法进行可视化分析。利用语义分割网络量化分布级模式崩塌,定义弗雷切特分割距离评估差异。实例级上,通过逐层网络反转方法揭示GAN在生成图像时遗漏的类别对象。实验结果显示,StyleGAN在匹配对象分布上优于ProGAN和WGAN-GP。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

虽然GAN很成功,但是模式崩塌的问题依然存在,本文是从分布级和实例级上对模式崩塌进行了可视化。

1.方法

1.1在分布级上量化模式崩塌

本文部署了一个语义分割网络(统一感知解析网络),分割生成图像和真实数据集中的图像,比较分割出来的类别的分布。统计数据的差异能够揭示GAN忽视的目标类别。统计数据的差别作者采用了两种方法来体现。第一种是在图像样本上,我们测量每个对象类别的总面积(以像素为单位),并收集所有分段对象类别的均值和协方差统计信息,可视化了两个网络的均值统计,比较差别。

mean area表明的是类别的面积,红色是生成图像中各个类别的平均面积,蓝色是真实数据集中各个类别的平均面积。relative delta表明的是相关偏差,即比较生成图像和真实图像中类别的比例,图中的纵坐标也给出了相关的计算公式。从直方图可以看出,WGAN-GP比StyleGAN偏离真实分布更多

第二种是定义了弗雷切特分割距离(FSD),用单个数字总结的统计差异,公式是

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值