GAN Prior Embedded Network for Blind Face Restoration in the Wild 学习

原创 已于 2023-02-05 21:04:01 修改 · 949 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#生成对抗网络 #学习 #人工智能

于 2023-02-05 15:34:46 首次发布
文章介绍了GAN先验嵌入网络(GPEN)在盲脸图像恢复中的应用，该方法结合了预训练的GAN模型（如style-GAN）和深度学习的U-Net架构，以处理低分辨率、噪声和模糊等人脸图像问题。通过微调模型和特定的损失函数，GPEN能有效地恢复高质量人脸图像。实验在FFHQ和CelebAHQ数据集上进行，使用PSNR、FID和LPIPS等指标进行评估。

文章目录

文章

标题： GAN先验嵌入网络用于盲脸恢复
期刊： These CVPR 2021 papers are the Open Access versions, provided by the Computer Vision Foundation.
文章链接： https://openaccess.thecvf.com/content/CVPR2021/html/Yang_GAN_Prior_Embedded_Network_for_Blind_Face_Restoration_in_the_CVPR_2021_paper.html

代码链接： https://github.com/yangxy/GPEN

背景

人脸图像是日常生活中最常见的图像类型之一，然而，人脸图像往往优于低分辨率、噪声、压缩和模糊等诸多因素的影响，或这些因素的综合作用使得图片退化。人脸图像恢复技术是人们一直关注的焦点，其目的为将退化的图像还原为清晰逼真的人脸图像。

主要工作

作者提出了一个GAN先验嵌入网络用于盲脸图片恢复。总结为以下几点：

  1. 将GAN先验模型嵌入到了深度神经网络中，并微调模型，以至于更好的恢复盲脸图片。
  2. GAN模块的设计能够很好的嵌入到U-shape深度神经网络中。深度学习网络中的深层和浅层特征分别作为GAN的latent code 和 no
最低0.47元/天 解锁文章
泡面加蛋97
关注
GFPGAN:Towards Real-World Blind Face Restoration with Generative Facial Prior 论文笔记
weixin_46872424的博客
02-23 931
GFP-GAN把图像去模糊和生成GAN模型进行了结合，使得从去模糊网络中得到图像的特征条件，然后经过GAN生成后回复高频的信息，所以理论上来说还是一个条件生成模型。之所以效果这么好，很大一部分原因是损失函数的设计比较详细，以往的模型直接以PSNR直接作为损失函数，这其实是不太合理的。这篇论文分别将人脸局部、全局的特征、纹理相似性特征、重建特征、对抗损失都考虑在内，另外一个细节是在训练模糊图像时不时直接使用Bicubic的图像，而是随机退化，这样训练的模型更加贴近真实退化过程。
论文阅读：Image Processing Using Multi-Code GAN Prior
bigbigvegetable的博客
04-26 2734
水平有限，有错望纠。 1. Introduction 尽管生成式对抗网络(GANs)在图像合成方面取得了成功，但将训练好的GAN模型应用于真实图像处理仍然具有挑战性。 实现这一目标的主要挑战是标准的GAN模型通常是 从随机噪声中合成图像，因此无法获取真实图像进行后续图像处理。通常的做法是将给定的图像反转回潜在代码，以便生成器可以重建它。要逆转生成过程，现有方法分为两种类型。一种是通过反向传播使...
【论文阅读】利用GAN Prior来处理各种视觉任务
Slow down, Keep learning and Enjoy life
12-01 1060
利用GAN Prior来处理各种视觉任务
论文 | Image Processing Using Multi-Code GAN Prior
qq_34929889的博客
08-05 619
论文 | Image Processing Using Multi-Code GAN Prior [paper][code] Motivation GAN在图像生成领域取得巨大成功，但将训练好的GAN模型作为先验信息应用于真实图像处理任务仍然就有挑战性。具体的，GAN模型中生成器通常是以潜在空间为输入映射到图像空间，不能以真实图像作为输入，导致训练好的模型无法进行后续图像处理。因此，现有方法尝试通过反向传播或通过学习其他encoder将目标图像转换回**潜在空间，并不理想。 本文提出了mGANprior的新
ECCV 2024 | 深入探索GAN先验，哈工大、清华提出模型反演新方案
Paper weekly
08-01 1021
介绍模型反演（MI）攻击的目的是利用输出信息从已发布的模型中重建隐私敏感的训练数据，这引起了人们对深度神经网络（DNNs）安全性的广泛关注。近年来，生成对抗网络（GANs）因其强大的图像生成能力，对模型反演攻击的性能做出了重大贡献。然而，以往的模型反演攻击只在 GAN 先验的隐空间中搜索私有信息，这限制了它们在语义提取和在多个目标模型和数据集上的可转移性。为了解决这一挑战，我们提出了一种新的方法—...
adobe Gpen3.6外网下载地址
04-30
可通过论文《GAN Prior Embedded Network for Blind Face Restoration in the Wild》的官方页面查找相关资源，论文代码通常托管在GitHub等平台。其网络架构采用U-Net结构，实现流程如： $$ \text{输入} \rightarrow ...
CVPR 2021最全论文开放下载！附pdf下载链接！
热门推荐
中科院AI算法工程师的博客
06-18 1万+
CVPR 2021最全论文开放，附所有pdf下载链接！
（九：2020.08.27）CVPR 2019 追踪之论文纲要（译）
Jojo论文基地
08-28 9430
CVPR 2019 追踪之论文纲要（修正于2020.08.28）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这900篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 下面皆为机器翻译，我会慢慢修正，但现在请结合。有兴趣的可以问我要处理这些论文并自动翻译的脚本。 Respect！ 论文目录 论文 概要
CVPR2018下载+CVPR2018论文百度云+2018CVPR论文下载+2018CVPR百度云
王博（Kings）的博客
06-25 5277
链接：https://pan.baidu.com/s/1QUXtDp5RQVNx-R55TkL13Q 提取码：
【Image Processing Using Multi-Code GAN Prior 多码先验GAN】学习笔记
滢滢码仔
04-28 2672
为了恢复目标图像而寻找合适的噪音空间z，image->z；使用给定做逆映射的GAN模型，将噪声z生成多个特征图（映射到生成器G中的某个中间层）；计算生成的多个特征图的重要系数，并组合生成目标图像
mganprior:[CVPR 2020]使用多代码GAN Prior进行图像处理
03-21
使用多代码GAN Prior进行图像处理 图：使用固定GAN模型的重建，多代码GAN先验技术促进了许多图像处理应用程序。 在这项工作中，我们提出了一种新的反演方法，以在各种图像处理任务（例如图像着色，超分辨率，图像修复和语义处理）之前有效地应用训练有素的GAN。 使用多代码GAN Prior进行图像处理顾金津，沉玉军，周伯雷2020年计算机视觉和模式识别（CVPR） [] [] 如何使用 安装依赖项 在执行Multi-Code GAN Inversion之前，请使用以下代码安装依赖项。 python -m pip install -r requirements.txt 下载预训练GAN模型 在这项工作中，我们像以前一样使用训练有素的GAN模型，包括和 。 Pytorch版本模型是从借用的。有关更多详细信息，请参见。 由于PGGAN和StyleGAN都使用对齐的面部进行GAN训练，因此
【CVPR2020】【逆推】Image Processing Using Multi-Code GAN Prior
weixin_39323037的博客
03-10 497
翻到最后有视频版哦~ 论文地址：https://arxiv.org/pdf/1912.07116.pdf 项目地址：https://github.com/genforce/mganprior 文字版 这次给大家分享一篇，关于GAN逆推的论文，是周博磊老师组在cvpr2020上的一个工作 因为现在GAN的生成效果已经非常不错，但是他们的输入都是随机噪声，而我们的需求肯定是对一张已有的图片进行操作，所以GAN逆推这个主题是很关键的，是GAN编辑和生成的基础。GAN的逆推就是生成器的反过程，生成器是
利用词间语义先验关系提升词嵌入表示
falianghuang的博客
06-05 759
文献：Yu M, Dredze M. Improving Lexical Embeddings with Semantic Knowledge[C]. ACL 2014: 545-550. 思想 提出关系受限RCM模型，利用词间语义先验关系提升词嵌入表示。 Relation Constrained Model（RCM） 定义关系R,比如语义相似度小于某个指定阈值的词序偶wi,wj>集合
超先验网络架构
最新发布
m0_74326236的博客
05-13 869
输入图像 xxx → 通过主编码器 gag_aga​ 得到 yyy对 yyy 量化成 y^\hat{y}y^​对 ∣y∣|y|∣y∣ 通过超先验编码器 hah_aha​ 得到 zzz，量化为 z^\hat{z}z^z^\hat{z}z^ 通过超先验解码器 hsh_shs​ 得到 σ^\hat{\sigma}σ^，作为 y^\hat{y}y^​ 的标准差利用 σ^\hat{\sigma}σ^ 对 y^\hat{y}y^​ 做熵估计（压缩编码）
第一模块理解GAN网络基本原理
weixin_42394925的博客
12-09 236
https://blog.youkuaiyun.com/ifreewolf_csdn/article/details/89309912
生成对抗网络(GAN)深度解析：原理、架构与应用全景
嗨，欢迎来到我的 优快云 博客小天地！一名深耕多年的技术发烧友。在这里，我将把日常工作中积累的宝贵经验，从复杂架构设计的精妙之处，到代码优化的实战技巧，毫无保留地分享给大家。
04-28 8577
生成对抗网络(GAN)深度解析：原理、架构与应用全景
GPEN论文阅读
weixin_44255407的博客
03-18 2170
论文题目：GAN Prior Embedded Network for Blind Face Restoration in the Wild 翻译：用于野外盲人脸恢复的GAN先验嵌入式网络 解决的问题： 如何利用GAN作为图像先验设计，用于现实人脸图像复原 提出的方法：GPEN. 步骤： 首先训练一个用于高质量人脸图像生成的GAN， 并将其作为先验解码器嵌入到U形DNN中， 然后使用一组合成的低质量人脸图像对GAN先验嵌入DNN进行微调 优点：GAN块的设计确保输入到GAN的潜在代码和噪声可以分别从DN
Zero-sho原先的升级版：hourglass网络：U-Net
weixin_43690932的博客
12-18 1294
仅供自己参考
【深度学习】基于深度离散潜在变量模型的变分推理
MUKAMO的博客
06-27 1528
本文探讨了深度学习在概率建模中的应用，重点介绍了变分自编码器（VAE）和神经变分推断（NVIL）。首先，介绍了模型构建的关键组件，包括先验网络和条件概率分布网络。接着，详细说明了使用最大似然估计和变分推断方法进行模型训练的过程。最后，提供了模型评估与可视化方法，帮助读者深入理解模型性能和内部机制。整体而言，本文为深度学习在概率建模领域的应用提供了一套完整的流程。
Towards Real-World Blind Face Restoration with Generative Facial Prior 请给我这篇论文的链接
05-08
好的，用户现在想要查找论文《Towards Real-World Blind Face Restoration with Generative Facial Prior》的官方链接或代码库地址。我需要先回顾之前的对话，看看有没有相关的信息。 在之前的回答中，用户询问了...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值