GCFSR: a Generative and Controllable Face Super Resolution Method Without Facial and GAN Priors 人脸超分-优快云博客

本文链接：https://blog.youkuaiyun.com/weixin_45079057/article/details/124353948

本文介绍了一种名为GCFSR的人脸超分辨率方法，无需依赖GAN先验，通过风格调制和特征调制模块实现高质量、细节可控的图像生成。实验表明，即使在小倍率超分下，仅使用GAN损失也能取得良好结果，而加入L1和感知损失后，在大倍率任务上达到SOTA。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在这里插入图片描述

前言

本文来自2022的CVPR。
这篇论文由字节跳动和中国科学院先进院技术研究院共同完成
图像超分辨率的目的是从相应的低分辨率（low-resolution，LR）输入构建高分辨率（high-resolution，HR）图像。

一、摘要

GCFSR: 不借助人脸先验，一种生成细节可控的人脸超分方法

人脸超分辨通常依靠面部先验来恢复真实细节并保留身份信息。在 GAN piror 的帮助下，最近的进展可以取得令人印象深刻的结果。他们要么设计复杂的模块来修改固定的 GAN prior，要么采用复杂的训练策略来对生成器进行微调。作者提出了一种生成细节可控的人脸超分框架，称为 GCFSR，它可以重建具有真实身份信息的图像，而无需任何额外的先验。
GCFSR 是一个编码器-生成器架构。为了完成多个放大倍率的人脸超分，设计了两个模块：样式调制和特征调制模块。风格调制旨在生成逼真的面部细节；特征调制会根据条件放大倍率对多尺度编码特征和生成特征进行动态融合。该架构简单而优雅，可以用端到端的方式从头开始训练。
对于较小倍率超分（<=8倍），GCFSR 可以在仅有的 GAN loss 的约束下产生令人惊讶的好结果。在添加 L1 loss 和 perceptual loss 后，GCFSR 可以在大倍率超分任务上（16, 32, 64）达到 sota 的结果。而在测试阶段，我们可以通过特征调制来调节生成细节的强度，通过不