AAAI2020-一种生成对抗网络的蒸馏方法(Distilling portable Generative Adversarial Networks for Image Translation)

文章地址：Distilling portable Generative Adversarial Networks for Image Translation

简介

文章是一种用于图像生成的网络蒸馏方法，属于神经网络小型化方向，文章基于用于各种图像转换的任务中的GAN，想办法减少其计算量、降低存储成本高，用于移动设备。

生成对抗式网络在图像的风格迁移，换脸，图像生成等任务中取得了很好的效果，但是因为其计算量大，存储空间大，很难应用到移动设备，而传统的网络压缩方法侧重于视觉识别任务，而从不处理生成任务。所以文章提出了一种基于知识蒸馏的生成对抗网络的压缩方法，并针对学生网络的生成器和判别器分别设计了蒸馏的损失函数。通过学习教师生成器和判别器中蕴含的信息，学生网络可以使用较少的参数取得和教师网络相似的图像转换性能。从而实现更为便捷的训练和应用。

模型压缩方法

剪枝：去掉训练好的神经网络中的冗余权重
量化：将高比特的大网络量化为低比特
蒸馏：使用训练好的大网络中的信息辅助小网络进行训练

现有的神经网络压缩方法不能直接应用于GANs模型的压缩，主要有以下几个原因：

• 与分类模型相比，生成网络中冗余权值的确定更具挑战性，因为生成网络需要大量的参数来建立极其复杂结构的高维映射。
• 与训练数据通常具有ground-truth(如标签和边界框)的视觉识别和检测任务不同，GAN是一种生成模型，它通常没有特定的ground-truth来评价输出图像，如超分辨率和风格转换。因此，传统的方法不能很容易地挖掘GANs中的冗余权值或过滤器。
• GANs有一个更复杂的框架，由一个生成器和一个鉴别器组成，两个网络在极小极大二人博弈后同时训练，这与普通的深度神经网络的分类训练过程有本质的不同。

<