女神青涩时纤毫毕现!腾讯 AI 模型 GFPGAN 火上 GitHub 热榜第一,Demo 在线可玩

使用stable diffusion webui时,安装gfpgan失败的解决方案(windows下的操作) 初次使用stable diffusion,无法安装gfpgan等模块的解决方法 阅读详情

来源 | 量子位(QbitAI)

编辑 | 明敏、发自、凹非寺

包浆老图立刻清晰到头发丝是一种怎样的体验?

看这明亮的眼眸、清晰的发丝,原本模糊的人像立刻添了几分灵动:

d3cb3e0ae7899d1bcf883e03679f38be.png

(这就是用AI修复的高圆圆童年照)

时间更久远的历史名人照片也能搞定。

鲁迅先生年轻时意气风发的模样,被还原地淋漓尽致:

ed9f12a3188769bc59ec83e5c6135f55.png

图灵的这张修复就更厉害了,不仅眼神更加锐利,头发、眉毛等细节都被完美还原了出来:

c3e15b43594a6d9bdbe1feade01e05f8.png

而以上这些效果,无需专业PS技能,只用一个网页端的Demo、点点鼠标上传图片就能搞定!

这么方便的修复神器,立刻引来了广大网友的围观和试玩。

不少人都用自己童年时低像素的照片来试验,这效果仿佛十几年前的自己就站在眼前了:

cb9be0a32e4351c2e522301abd3333f9.png

已经糊到包浆的照片也能秒变人像大片,这feel立刻就来了~

ed06f4747a1145b504be7a6365553252.png

多人合照修复也都是小case,这效果让网友们直呼惊到了惊到了。

5a6729982e9cc732d9c6fd4451aca10c.png

这就是已经多日霸占GitHub热榜第一的AI修复项目:GFP-GAN,Star数高达8400。

9429477107c69b3a871cac51f72fcf00.png

最近,它在网上又掀起了一股老照片修复热潮,让人们争相试玩!

而这一项目由腾讯PCG ARC实验室提出,其相关论文已被CVPR2021收录。

现在,就让我们赶紧来体验一下它的神奇之处吧。

Demo试玩

GFP-GAN可通过Colab、Hugging Face或本地运行代码进行试玩。

我们今天是在Hugging Face网页端体验。

10cb8e9ef051f351ca4ddfae56238cf7.png

如界面所示,只需将你想修复的照片拖进左边的图片框内,点击Submit即可。

比如我们上传一张的照片,得到的效果就是这样:

615a96385b0a27fe8e6e510e1faacfc9.png

而且它还会自动摆正人脸。

让人惊喜的是,遇到人像戴眼镜的情况,GFP-GAN甚至连镜片反光都能高清化处理。

u1s1(有一说一),修复后的效果完全看不出是几十年前的照片啊!

8898250a48085d5f10445d2352fd2791.png

就连齐天大圣孙悟空的猴脸,对于GFP-GAN而言也是so easy,并且对光线的修复效果格外突出。

de8b0f069db0b8ecf7deead54002f4c3.png

并且修复中也不会过度磨皮,人脸上自然的皱纹也全部精细展现。

14469b06851bb049adb143556adb8468.png

用GAN修复人像

那么GFP-GAN如此强大的效果是怎么实现的呢?

研究人员受到StyleGAN2的启发:

既然GAN已经能生成如假乱真的图片,那么它所包含的面部信息,是不是也能帮助人脸修复呢?

由此,在GFP-GAN的模型框架中,主要用到了一个退化清除模块和一个预训练的GAN作为先验。

两个模块通过隐编码映射和多个信道分割空间特征变化层(CS-SFT)连接。

ac3de447de9172edc933f57f5dc7757e.png

训练过程中,首先要对低质量人脸进行降噪等粗处理,然后保留面部信息。

在保真度方面,研究人员引入了一个面部损失( Facial Component Loss),判断哪些细节需要提升保留,然后再用识别保留损失(Identity Preserving Loss)进行修复。

一作师从汤晓鸥教授

本文论文一作是Xintao Wang,他是腾讯 ARC 实验室(深圳应用研究中心)的研究员。

本科毕业于浙江大学,博士毕业于香港中文大学。

其博士期间师从汤晓鸥教授和Chen Change Loy教授。

研究方向为计算机视觉和深度学习,尤其关注图像、视频修复方面。

985abb87eae8e0f0f73810fe0257b21f.png

论文地址:
https://arxiv.org/abs/2101.04061

GitHub项目页:
https://github.com/TencentARC/GFPGAN

Hugging Face试玩传送门:
https://huggingface.co/spaces/akhaliq/GFPGAN

觉得还不错就给我一个小小的鼓励吧!
本地部署,GFPGAN: 实用的面部修复算法 GFPGAN 是一种基于生成对抗网络(GAN)的面部修复算法,专为处理低质量、模糊或损坏的面部图像而设计。该算法通过结合生成对抗网络和面部先验知识,能够在保留面部特征和细节的同时,有效地修复图像中的缺陷,使得最终生成的图像更加清晰和自然。GFPGAN 作为一款实用且高效的面部修复算法,凭借其先进的技术和卓越的性能,已经在多个领域展现出了巨大的潜力。从摄影和视频制作到安防和医疗,GFPGAN 的应用场景广泛且多样。 阅读详情

相关推荐

人脸修复与增强腾讯开源项目GFPGAN介绍

人脸修复与增强腾讯开源项目GFPGAN介绍

世界那么大,我想去看看~【随心更新,看世界去了😄】 1828

Python - 面向现实世界的人脸复原 GFP-GAN 简介与使用

GFP-GAN - 用于真实世界人脸恢复的实用算法。

BITDDD小栈 8060

uCOS中的消息邮箱(:task与task之间传递一个数据(数据缓冲区))

程序需求,需要完成task与task之间  字符数组的数据传输 比如:在ucos中,串口2接收的字符数组是不定时的&不定长的;只有当接收到数据的时候_才将数据赋值给新数组 具体的程序示意如下: 图1:消息邮箱测试中的     向消息邮箱发送消息(OSMboxPost(Str_Box,(void*)rec);//发送消息--(向 消息邮箱_msg_key发送消息) ),实际项目需求的

faguoduifangui的博客 4540

GFP-GAN

大量的实验表明,新方法在合成数据集和真实数据集上都取得了优于现有技术的性能。他们首先将降级的图像“倒置”回预先训练好的GAN的 latent code,然后进行昂贵的特定于图像的优化来重建图像。然而,当高质量的参考无法访问时,非常低质量的输入不能提供精确的几何先验,这限制了在现实场景中的适用性。在Synthetic的量化指标上, 该研究提出的方法在LPIPS、FID、 NIQE都能够取得最好的结果,Deg.是指人脸识别模型ArcFace的Cosine距离, 较小的值说明identity也保持的很好whao

whaosoft143ai的博客 2779

SolidWorks Routing标准件库搭建与实用技巧分享

在机械设计中,管路、管筒与电气线束的布线是影响装配效率的关键环节。SolidWorks Routing 作为专业的三维布线模块,依赖标准件库中的连接点(CPoint)与配合参考来实现接头的自动吸附和路径生成。然而系统自带库存在型号不全、配置分散、版本兼容性差等问题,导致设计师大量时间耗费在翻型号和手动配合上。通过自建标准件库,并配合 Routing Library Manager 统一登记路径与配置,可显著提升管道布线、管筒走向及电气线束布置的效率。本文从连接点原理、配置命名、模板属性等底层逻辑出发,梳理了

weixin_42510201的博客 299

别再为淘宝滑块发愁了!一个Python脚本自动获取x5sec cookie的保姆级教程

本文提供了一套完整的Python自动化解决方案,帮助开发者轻松应对淘宝滑块验证码问题。通过模拟浏览器行为、精准识别滑块缺口位置和生成拟人化移动轨迹,脚本能够自动获取关键的x5sec cookie,显著提升爬虫效率。教程涵盖环境配置、验证机制分析、代码实现及反检测策略,是解决淘宝滑块验证的实用指南。

weixin_30300225的博客 577

女神青涩时纤毫毕现,腾讯 AI 模型 GFPGAN 火上 GitHub 热榜第一,Demo 在线可玩

来源:量子位 作者:明敏 包浆老图立刻清晰到头发丝是一种怎样的体验?看这明亮的眼眸、清晰的发丝,原本模糊的人像立刻添了几分灵动(这就是用 AI 修复的高圆圆童年照)。 甚至时间更久远的历史名人照片也能搞定。例如鲁迅先生年轻时意气风发的模样,被还原地淋漓尽致: 图灵的这张修复就更厉害了,不仅眼神更加锐利,头发、眉毛等细节都被完美还原了出来: 而以上这些效果,无需专业 PS 技能,只用一个网页端的 Demo、点点鼠标上传图片就能搞定! 这么方便的修复神器,立刻引来了广大网友的围观和试玩。

m0_46163918的博客 5192

实证研究之|stata清洗charls数据

stata

qq_45313933的博客 6765

相片修复框架-GFPGAN

GFPGAN 是一个由腾讯 ARC 团队开发的用于人脸图像生成和优化的 GAN 模型。

qyhua的专栏 3349

ArcGIS实验教程——实验十七:缓冲区分析(Buffer Analysis)

【实验描述】缓冲区(Buffer)是为了识别某一地理实体对周围地物的影响而在其周围建立的一定宽度多边形区域,缓冲区分析(Buffer Analysis)是用来确定不同地理要素的空间临近性或接近程度的一种分析方法。作为GIS的空间分析方法之一,缓冲区分析的应用范围特别广泛,常用于分析矢量实体对周围的影响。例如,工厂排放的废水废气所影响的空间范围等等。 一、缓冲区的基本概念 1、缓冲区 是地理空间目标的一种影响范围或服务范围。 2、缓冲区分析 指根据分析对象的点、线、面实体,自动建立它们周围一定距离的带

智慧空间实验室 1万+

Transformer实战(2)——循环神经网络详解

循环神经网络 (Recurrent neural networks, RNN) ,RNN 是在文本输入中广泛使用的神经网络。RNN 非常灵活,已被用于解决诸如语音识别、语言建模、机器翻译、情感分析和图像字幕等问题。RNN 利用输入的序列特性,序列输入可以是文本、语音、时间序列以及任何其他元素的出现取决于其前面元素的序列。在本节中,我们介绍了 RNN 及其变体,并学习如何使用 TensorFlow 进行实现。

盼小辉丶的博客 1万+

GFPGAN:Towards Real-World Blind Face Restoration with Generative Facial Prior 论文笔记

GFP-GAN把图像去模糊和生成GAN模型进行了结合,使得从去模糊网络中得到图像的特征条件,然后经过GAN生成后回复高频的信息,所以理论上来说还是一个条件生成模型。之所以效果这么好,很大一部分原因是损失函数的设计比较详细,以往的模型直接以PSNR直接作为损失函数,这其实是不太合理的。这篇论文分别将人脸局部、全局的特征、纹理相似性特征、重建特征、对抗损失都考虑在内,另外一个细节是在训练模糊图像时不时直接使用Bicubic的图像,而是随机退化,这样训练的模型更加贴近真实退化过程。

weixin_46872424的博客 1038

基于Transformer的股票市场多因子量化选股模型,深度解析:基于Transformer的股票市场多因子量化选股模型

传统多因子模型通常采用线性回归、岭回归或Lasso回归来估计因子权重,其核心假设是因子与未来收益之间存在线性关系。然而,现实中的股票市场具有典型的非线性、非平稳和高噪声特征。卷积神经网络(CNN)擅长提取局部特征,但难以捕捉全市场股票之间的全局依赖关系;循环神经网络(RNN)及其变体LSTM虽然能处理时间序列,但存在梯度消失问题且难以并行计算。Transformer的self-attention机制能够:直接建模任意两只股票之间的相关性动态计算因子权重而非静态线性组合。

YOLO 251

GFPGAN简要介绍及源码分析(一)

详细介绍了GFP各模块的代码实现(一)

qq_38650244的博客 2693

【国产MCU】-CH32V307-通用定时器(GPTM)-输入捕获模式测量脉冲

CH32V307的通用定时器模块包含一个16 位可自动重装的定时器(TIM2、TIM3、TIM4和TIM5),用于测量脉冲宽度或者产生特定频率的脉冲、PWM波等。可用于自动化控制、电源等领域。 输入捕获是通用定时器功能之一,一般用于测量频率和测量脉冲宽度。本文将详细介绍如何通用定时器的输入捕获功能。

视觉与物联智能 2816

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

音视频开发之旅(71)- 人脸修复画质增强之GFPGAN

它由一个U-Net模块和一个预训练的人脸GAN模型组成。GFP-GAN中为了保证人脸变清晰同时保持真实性,有四个loss1. “Reconstruction Loss” 使用预训练的 VGG-19 网络来完成分辨率的增强2. “Adversarial Loss” 使用 StyleGAN2 中类似的方法来生成逼真的纹理;3. “Facial Component Loss” 为了让面部细节真实,使用辨别器单独生成和应用面部区块的补丁,特别处理了眼睛、嘴巴等局部细节;

yabin的专栏 3278

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

模糊照片修复神器GFPGAN

原文链接:http://www.juzicode.com/image-photo-editor-gfpgan 今天桔子菌给大家介绍一款模糊老照片的修复神器~GFPGAN。 首先看下网页版,进入到GFPGAN - a Hugging Face Space by akhaliq,界面非常简单易用, 点击左侧的click to upload添加进要修复的图片,再点击submit按钮,在右侧就可以看到修复后的图片了,生成的图片还可以下载到本地保存。 从下面这个例子中可以看到图像清晰了不少,牙缝清晰可见、

桔子code 的博客 1万+

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

GFPGAN——经典论文解读

在传统的图像去模糊的网络中,由于输入图像质量较低,不能提供准确的几何先验,而且高质量的参考图像是没有的,会极大限制去模糊网络的性能。为了突破这一限制,论文在人脸图像恢复领域提出了基于StyleGAN和去模糊结合的网络,先对图像进行初步的去模糊,然后利用已经经过预训练的styleGAN这种人脸生成模型在去模糊后图像的基础上进行生成,从而恢复图像更多人脸的纹理、边缘信息,使得看起来更加逼真,兼顾了真实性和保真度。其实本质上个人理解还是一个条件生成的过程,将低质量图像作为条件生成高质量图像。

scy的技术博客 3182

GFP-GAN学习笔记

GFP-GAN利用丰富和多样化的先验封装在预训练的脸GAN盲脸恢复。通过空间特征变换层,将生成式面部先验(GFP)融合到人脸恢复过程中,使人脸恢复过程更容易实现论文说,之前的研究GAN中,。论文提出了,以在一次向前传递中实现真实和保真的良好平衡的网络结构,具体地说,GFPGAN包括。......

weixin_42975688的博客 4020

智能老旧模糊照片修复——C++实现GFPGAN模型推理

老旧照片修复,基于深度学习,C++实现模型部署

知来者逆的博客 3924

【论文解读】GFPGAN:基于生成式面部先验的真实世界盲脸修复

盲脸修复通常依赖于面部先验,例如面部几何先验或参考先验,以恢复逼真和可信的细节。然而,非常低质量的输入无法提供准确的几何先验,而高质量的参考则无法获得,从而限制了在实际场景中的适用性。在这项工作中,我们提出了GFP-GAN,它利用封装在预训练人脸GAN中的丰富多样的先验进行盲人脸恢复。这种生成面部先验(GFP)通过空间特征变换层被整合到面部恢复过程中,这使得我们的方法能够实现真实性和保真度的良好平衡。

qq_44091004的博客 4259

女神青涩时纤毫毕现!腾讯AI模型GFPGAN火上GitHub热榜第一,Demo在线可玩

明敏 发自 凹非寺量子位 报道 | 公众号 QbitAI包浆老图立刻清晰到头发丝是一种怎样的体验?看这明亮的眼眸、清晰的发丝,原本模糊的人像立刻添了几分灵动:(这就是用AI修复的高圆圆童年...

量子位 1275

本地使用GFPGAN进行图像人脸修复

本地使用GFPGAN权重文件进行人脸修复

weixin_45977690的博客 2478

深度学习系列46:人脸图像超分GFP-GAN

GFP-GAN由腾讯ARC实验室出品,测试下来效果很不错。 模型用于从低质量的人脸中恢复出高质量人脸。这些质量较低的肖像图可能由各种原因导致退化,如低分辨率,噪音,模糊或是被压缩。 主流的图像修复技术还是对抗生成网络GAN,但如何用好GAN是个学问。本模型使用了生成性面部先验模型(Generative Facial Prior, GFP),通过空间特征变换层被纳入到面部恢复过程中,这使得该方法能够实现真实性和保真度的良好平衡。 目前有3个pretrain模型,默认使用v1.3: 模型总图如下: 去退化模

kittyzc的博客 6432

GFPGAN实战指南:从零开始掌握高质量人脸修复技术

你是否曾面对模糊不清的老照片束手无策?是否想将低质量的人脸图像恢复成高清细节?GFPGAN作为腾讯ARC实验室开发的专业人脸修复工具,正是解决这些问题的利器。本文将带你从环境搭建到参数调优,全面掌握GFPGAN的使用技巧。 ## 🎯 准备工作:搭建你的修复环境 ### 获取项目代码 首先需要克隆GFPGAN项目到本地: ```bash git clone https://gitcode.c

gitblog_00658的博客 941
上一篇: 最新!2022互联网薪酬盘点,你达标了吗?
下一篇: 最被低估的Python绘图库!Matlplotlib 超强实力鉴赏
Wang_AI
博客等级 码龄12年 997粉丝 162原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值