Towards Robust Blind Face Restoration with Codebook Lookup Transformer

已于 2024-02-29 21:46:48 修改
阅读量1.1k 收藏 22
点赞数 26
CC 4.0 BY-SA版权
分类专栏： 鼠鼠的AI笔记 文章标签： transformer 深度学习 人工智能
于 2024-01-18 17:18:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u013302570/article/details/135506250
本文介绍了Codeformer，一种改进的盲脸修复技术，它结合了 Degeneration Removal 模块和预训练的 StyleGAN2，通过引入Transformer优化特征提取，提升面部细节恢复效果。相较于传统方法，Codeformer利用离散编码的Codebook减少不确定性，增强生成的面部信息，并通过重建、对抗性等多种损失函数确保身份保持和图像质量。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Towards Real World Blind Face Restoration with Generative Facial Prior

这个projec相对codeformer已经是老一些的了，CodeFormer paper说自己的效果比这个更好。

有看了这个视频，它借用了R-ESRGAN 4x 和 GFPGAN 50%，既保留了一些人物特征，又有了更好的效果。视频例子

传统方式

Blind Face Restoration:

  • 基于脸部固定位置的信息：没有充分挖掘信息，缺少细节，但是对于一个粗略的脸部信息是OK的
  • heavily 基于reference
    images: 对于政府需要的强制性信息来说这个应该不难获取（比如犯过刑事案件同志的档案），但是对于其它情况，这个有点不切实际。

例子：包含适用普通GAN的

Modules

Degradation Removal：(Unet)
将不好的，有影响画质的内容去除
不同尺寸

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【AI人工智能绘画 CV】Towards Robust Blind Face Restoration with Codebook Lookup Transformer
AI天才研究院
03-03 2万+
在本文中，我们证明了通过将盲人脸恢复作为代码预测任务，在一个小代理空间中学习的先验离散码本在很大程度上减少了恢复映射的不确定性和模糊性，同时为生成高质量的人脸提供了丰富的视觉原子。在这种范式下，我们提出了一个名为 CodeFormer 的基于 Transformer 的预测网络来模拟低质量人脸的全局组成和上下文以进行代码预测，即使输入是严重退化。为了增强对不同退化的适应性，我们还提出了一个可控的特征转换模块，允许在保真度和质量之间进行灵活的权衡。对合成和真实世界数据集的广泛实验结果验证了我们方法的有效性。
【深度学习】脸部修复，CodeFormer，论文，实战
q742971636的博客
11-22 2524
Blind face restoration是一个高度 ill-posed 的问题，通常需要辅助引导来 1) 改善从降级输入到期望输出的映射，或者 2) 补充在输入中丢失的高质量细节。在本文中，我们展示了在一个小的代理空间中学到的离散码本先验可以通过将盲目的面部恢复建模为 a code prediction task来大大减少恢复映射的不确定性和模糊性，同时为生成高质量面部提供丰富的视觉元素。
CodeFormer——Towards Robust Blind Face Restoration with Codebook Lookup Transformer
David___yu的博客
05-11 1685
盲脸恢复是一个高度病态的问题，通常需要辅助引导来1）改善从退化输入到期望输出的映射；2) 补充输入中丢失的高质量细节 在本文中，作者证明了在小代理空间中学习离散码本先验，通过将盲人脸恢复作为潜码预测任务，极大地减少了恢复映射的不确定性和模糊性，同时为生成高质量的人脸提供了丰富的视觉原子。在这种模式下，作者提出了一个基于transformer的预测网络，名为CodeFormer，用于对低质量人脸的全局组成和上下文进行建模，以进行潜码预测，即使在输入严重退化的情况下，也能发现与目标人脸非常接近的自然人脸。
codeformer:towards robust blind face restoration with codebook lookup transformer
liguandong
08-28 1969
刚好上班又到了我分享论文的时候，顺便分享给大家，有啥想法可以留言交流hhh，这个字幕机翻的有点蠢，大家将就看一下，下次不弄字幕了。vqgan和vqvae是一致的，通过编码器得到特征之后，通过最近邻匹配，训练解码器，这个流程训练好之后，丢掉编码器，只要解码器，但是做无监督生成的话，你就需要有一个对应的index表，这样才能从codebook中找出对应的embedding去得到解码器的输入，那么这个index表是通过gpt2生成的，是自回归预测出来的，有个index表就可以得到输入。
Towards Robust Blind Face Restoration with Codebook Lookup Transformer(NeurIPS 2022) | Codeformer
东风的博客
09-04 732
这篇论文试图解决的是盲目面部恢复（blind face restoration）问题，这是一个高度不确定的任务，通常需要辅助指导来改善从低质量（LQ）输入到高质量（HQ）输出的映射，或者补充输入中丢失的高质量细节。上图给出了为什么使用VQVQE,因为VAE输出的Embedding是连续的,包含的潜空间太大,而VQVAE可以看作聚类,从LQ->HQ的映射,为了保证图像质量,我们希望这个映射空间较小,从而更可能生成高质量的图像.,更有利于模型学习.CodeFormer也可以用于图像编辑之类的.
CVPR2021:Towards Real-World Blind Face Restoration with Generative Facial Prior
weixin_45703452的博客
08-18 2080
单位：腾讯PCG 论文 代码 Xintao Wang大佬（ESRGAN、EDVR作者）的力作，这篇论文和他们另一篇CVPR2021论文《GLEAN: Generative Latent Bank for Large-Factor Image Super-Resolution》想法相近，但是做的是两个不同的恢复任务。 摘要 人脸盲恢复通常依赖于人脸先验信息，如人脸几何先验信息或参考先验信息来恢复真实可信的细节。然而，极低质量的输入无法提供精确的几何先验，而高质量的参考通常难以得到，从而限制了在现实场景中的
用序列模型（GPT Bert Transformer等）进行图像处理的调研记录
read, note and comment papers
08-22 1413
VLM调研记录
数字人VideoRetalking项目总结｜文本（语音）驱动的音唇同步问题
BeGeek的博客
12-10 4243
数字人项目
CVPR2017论文摘要汇总
热门推荐
super_chicken的博客
04-09 1万+
1. Exclusivity-Consistency Regularized Multi-view Subspace Clustering Abstract: Multi-view subspace clustering aims to partition a set of multi-source data into their underlying groups. To boost the ...
CV-2022：CodeFormer【最强的AI 视频、图片修复】【南洋理工大学 S-Lab】
u013250861的博客
01-16 5093
本文提出了一种基于Transformer+VQGAN的人脸重建方案CodeFormer，它可以对低质人脸的组成与上下文信息进行建模，促进自然人脸挖掘以生成与目标人脸更相近的结果。受益于码本先验与全局建模能力，CodeFormer取得了SOTA人脸复原能力。论文：《Towards Robust Blind Face Restoration with Codebook Lookup Transformer》
基于Codebook Lookup Transformer的盲人脸恢复技术
最新发布
博客之路,前途漫漫
11-16 907
人脸恢复技术在当今数字化时代的重要性不言而喻。无论是在视频监控、照片修复还是身份识别等领域，人脸图像的质量都至关重要。高质量的人脸图像不仅能够提供更精确的身份信息，还能提高识别系统的准确性和可靠性。在社交媒体和娱乐行业，清晰的人脸图像对于照片和视频的美观度也至关重要。特别是在图像和视频的存档和修复中，如何有效地恢复受损的历史照片和老旧视频，保留其文化和历史价值，是一个重要的应用场景。然而，现实生活中的人脸图像往往受到多种因素的影响，例如低分辨率、噪声、模糊等，从而导致图像质量下降，影响后续应用。
Blind Face Restoration（盲人脸恢复）based on diffusion model 调研
hjhr2018的博客
06-06 1293
为了匹配该分辨率，设计了一个编码网络F，包含几个卷积层，用于去除低质量图像的浅层退化并将其编码为64×64的清晰图像。（1）进一步探索了预训练的stable diffusion在盲人脸修复领域的生成能力，与GAN先验相比，stable diffusion可以提供更丰富、更多样化的先验知识，从而生成更真实逼真的面部细节。（3）提供了一个合成的人脸数据集，称为 Privacy-preserving-Faces-HQ (PFHQ)，该数据集包括60K配对的面部图像，具有平衡的种族、性别和年龄，用于训练恢复网络。
旧照片修复-模糊图片变清晰-2023年度最强神器 codeformer
delacroix_xu的专栏
04-27 7789
使用time命令，看看执行总共耗时多少。32核CPU，耗时55秒。如果是单核心cpu，则大概耗时8min多。pip3 install ffmpeg-python ，这样就有了。处理的很慢，最后给kill掉了。不过过程来看，相对顺利。提醒缺少ffmpeg， import ffmpeg失败。但是会遇到报错，没有cython， 那就手工安装一下。按照官方教程，安装requirements.txt。项目有个目录，专门用于测试的。4、低码率视频增强，增加细节。不得不说，效果是真的牛批！测试一个视频增强功能。
超分论文走读
u011489887的专栏
05-29 345
codeFormer 原始动机 高度不确定性，模糊到高清，存在一对多的映射 纹理细节丢失 人脸身份信息丢失 模型实现 训练VQGAN 从而得到HQ码本空间作为本文的离散人脸先验。为了降低LQ-HQ映射之间的不确定性，我们设计尽量小的码本空间和尽量短的Code序列作为人脸的离散表达。因此，我们采用了大的压缩比 (32倍)，即将原来的人脸图片压缩为的离散Code序列。该设计使得码本中Code具有更丰富的上下文信息，有助于提升网络表达能力以及鲁棒性。 嵌入Transformer模块，对特征全局建模，以达成
人脸修复祛马赛克算法CodeFormer——C++与Python模型部署
知来者逆的博客
09-18 9405
CodeFormer是一种基于AI技术深度学习的人脸复原模型，有人脸超分，人脸祛除马赛克，人脸修复，人脸上色C++和python部署。
【论文阅读】超分辨率——Towards Real-World Blind Face Restoration with Generative Facial Prior
qq_38846606的博客
04-12 4089
Towards Real-World Blind Face Restoration with Generative Facial PriorIntroduction 论文链接: Arxiv 团队：腾讯ARC 会议及时间：CVPR 2021 代码：暂未发布 Introduction 参考文献 https://zhuanlan.zhihu.com/p/344602972 https://finance.sina.com.cn/tech/2021-04-05/doc-ikmyaawa6744662.shtml
【CVPR2021】文章、代码和数据链接
qq_36717487的博客
04-16 2540
Awesome-CVPR2021-Low-Level-Vision 整理汇总下今年CVPR图像重建(Image Reconstruction)/底层视觉(Low-Level Vision)相关的论文和代码，括超分辨率，图像去雨，图像去雾，去模糊，去噪，图像恢复，图像增强，图像去摩尔纹，图像修复，图像质量评价，插帧，图像/视频压缩等任务。大家如果觉得有帮助，欢迎star~~ 参考或转载请注明出处 CVPR2021官网：http://cvpr2021.thecvf.com CVPR完整论文列表：https://
Yolo v5 长方形 训练修改
EmoC的博客
04-25 2647
感谢，以下内容改自：http://t.csdn.cn/37m2w dataloaders.py # YOLOv5 🚀 by Ultralytics, GPL-3.0 license """ Dataloaders and dataset utils """ import contextlib import glob import hashlib import json import math import os import random import shutil import time from it
towards semi-supervised deep facial expression recognition with an adaptive
11-12
近年来，半监督深度面部表情识别成为了人们关注的热点问题之一。在这个领域，研究人员一直致力于利用少量有标签的数据和大量无标签的数据来提高面部表情识别的准确性和鲁棒性。Adaptive是一种有效的半监督学习方法，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值