【每周CV论文推荐】初学人脸属性编辑都有哪些值得阅读的论文?

如何编辑styleGAN生成的图像的属性 发现一个关于生成高清动漫头像的很棒的博客:gwern faces,讲述了从GAN诞生以来尝试过的各种方法生成动漫人脸的经验,值得一看 如何对无监督的styleGan生成器找到对应的特征 新创建一个encoder,用于对image编码获取其对应的z。方法是,通过训练好的styleGAN,获取z-生成image对,将该z-image作为训练集用于训练该编码器,则该编码器能够对任意一张图片获得其对应于该styleGAN的编码z,既可通过对该z进行扰动获得一些特征调整。 通过反向传播的方法,获取对应编码z。一个神 阅读详情

欢迎来到《每周CV论文推荐》。在这个专栏里,还是本着有三AI一贯的原则,专注于让大家能够系统性完成学习,所以我们推荐的文章也必定是同一主题的。

当前人脸图像领域的研究和落地都发展得非常迅速,这几年里人脸领域中最令人振奋的莫过于人脸属性的编辑,实现了换脸、表情生成、年龄仿真等酷炫的应用,本次我们来介绍初入该领域值得阅读的文章。

作者&编辑 | 言有三

1 基于StyleGAN的通用人脸属性编辑

基于StyleGAN的人脸属性编辑是当下最主流的方法,由此引领了人脸属性编辑领域一系列重要的研究,想要学习相关算法首先要掌握好StyleGAN模型,在此基础之上,再掌握好Image2StyleGAN,GANSpace等内容,然后再继续进阶更新的模型。

文章引用量:4000+

推荐指数:✦✦✦✦✦

034943ac182685bc18903f34f1942c89.png

[1] Karras T, Laine S, Aila T. A style-based generator architecture for generative adversarial networks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019: 4401-4410.

[2] Abdal R ,  Qin Y ,  Wonka P . Image2StyleGAN: How to Embed Images Into the StyleGAN Latent Space?[J]. IEEE, 2019.

[3] Hrknen E ,  Hertzmann A ,  Lehtinen J , et al. GANSpace: Discovering Interpretable GAN Controls[J].  2020.

2 人脸表情编辑

人脸表情的编辑可以广泛应用于娱乐社交领域,对表情进行归一化后也有助于提升大表情下人脸图像的关键点定位、人脸识别等算法的性能,是一个值得研究的问题。由于人脸的表情,主要是由嘴唇、鼻子、眼睛等面部单元的几何形变决定,它与人脸关键点任务有较大的关系,因此我们可以首先学习一个基于关键点控制的人脸表情编辑模型G2-GAN。

文章引用量:100+

推荐指数:✦✦✦✦✦

f9bafb158a9dd02421b788b2fbe4acd5.png

[4] Lingxiao Song, Zhihe Lu, Ran He, Zhenan Sun, Tieniu Tan. Geometry Guided Adversarial Facial Expression Synthesis. CoRR abs/1712.03474 (2018).

3 人脸年龄编辑

所谓年龄编辑,即更改照片中人的年龄属性。年龄变换在电影中应用比较广泛,例如年轻的演员在电影中变老,或年老的演员需要扮演年轻人等。在公安领域也有应用,比如寻找丢失多年的儿童;另外在生活娱乐以及客群分析统计中也有很多应用。年龄编辑包含了两个子问题,一个是变老(Age Progression),一个是变年轻(Age Regression)。

假设人脸图像处于一种高维流形(high-dimensional manifold)中,当图像在这个流形中沿着某个特定方向移动时,年龄就会随之发生自然的变化,基于此研究者提出了潜在空间的条件对抗自编码模型(Conditional Adversarial AutoEncoder,CAAE),大家可以首先学习该算法。

文章引用量:700+

推荐指数:✦✦✦✦✦

cf290a41412dfb12dc81a0784d49eaf4.png

[5] Zhang Z, Song Y, Qi H. Age progression/regression by conditional adversarial autoencoder[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2017: 5810-5818.

4 人脸姿态编辑 

大的姿态对于人脸关键点检测、人脸识别等算法都构成了挑战,姿态编辑算法可以仿真不同姿态的人脸,比如将大姿态的人脸校正到正脸,这有助于提升人脸识别等算法等性能。人脸姿态编辑可以用于仿真不同的姿态,对于提升大姿态的人脸关键点定位以及识别模型的精度有帮助。

由于人脸的姿态重建通常使用人脸三维重建来完成,当前基于GAN的人脸姿态编辑模型也经常需要人脸三维重建任务一起进行联合学习,因此我们可以首先学习基于3DMM模型的姿态编辑GAN框架。

文章引用量:400+

推荐指数:✦✦✦✦✦

2f9a56bef02bd4511aa3f4f4e465397c.jpeg

[6] Shen Y, Luo P, Yan J, et al. Faceid-gan: Learning a symmetry three-player gan for identity-preserving face synthesis[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018: 821-830.

[7] Yin X, Yu X, Sohn K, et al. Towards large-pose face frontalization in the wild[C]//Proceedings of the IEEE International Conference on Computer Vision. 2017: 3990-3999.

5 人脸身份编辑

换脸算法,即对人脸身份进行编辑,使其变成另外一个人,在影视剧创作,娱乐社交领域中有较广泛的应用,它也对当前人脸识别模型构成了挑战。

当前最流行的Deepfakes就是在使用同样的编码器的约束下,分别训练A图像和B图像的编解码器。使用时将A的特征输入解码器B从而实现换脸,感兴趣的可以参考开源代码[8]进行尝试。

文章引用量:300+

推荐指数:✦✦✦✦✦

509604e2f393e152ec3c749d83bcc2cd.jpeg

[8] Korshunov P, Marcel S. Deepfakes: a new threat to face recognition? assessment and detection[J]. arXiv preprint arXiv:1812.08685, 2018.

[9] https://github.com/deepfakes/faceswap

6 如何进行实战

为了帮助大家掌握好基于StyleGAN的人脸属性编辑算法理论与实战,我们推出了相关的项目实战类课程,包括《StyleGAN v1人脸图像生成实战》,《StyleGAN人脸属性编辑实战》,对相关内容感兴趣的读者可以进一步阅读:

【项目实战课】基于Pytorch的StyleGAN v1人脸图像生成实战

07eddba4a00d48d783ce2ddcbbdc8b1a.jpeg

【项目实战课】基于Pytorch的StyleGAN人脸属性(表情、年龄、性别)编辑实战

046a53332edb047e4e717d18cfc4d4d2.gif

更多的人脸相关的数据集以及论文阅读交流在有三AI知识星球中进行,感兴趣可以了解。

【杂谈】有三AI知识星球指导手册出炉!和公众号相比又有哪些内容?

7e22d12cbebd530ca34d3a8f010c3f5e.png

总结

本次我们简单介绍了人脸属性编辑的几大重要方向,以及初学该方向值得阅读学习的论文和参考资源,当下随着GAN技术的成熟落地,人脸属性编辑已经在各类商业产品中被广泛应用,值得人脸相关算法领域的从业人员掌握。

有三AI秋季划-人脸算法组

7d992abc782489c42e96347e6a6a42f9.png

如果想要永久系统性地跟随我们社区学习人脸各个领域的内容,请关注有三AI-CV秋季划人脸算法组,阅读了解下文:

【CV秋季划】人脸算法那么多,如何循序渐进地学习好?

转载文章请后台联系

侵权必究

4940841d00ca0d22cf2c74909cb4338f.gif

e85210778cfd01c0d3ef8ad62e37980a.png

416d49ddffa78cfe24bbe292e67184d7.png

往期相关精选

人脸属性编辑 阅读详情

相关推荐

人脸属性替换毕业设计项目(文末附源码)

一个良好的图像到图像翻译模型应该学习不同视觉域之间的映射,同时满足以下属性:1)生成图像的多样性和2)多个域的可扩展性。现有方法解决了其中任何一个问题,所有域的多样性或多个模型都有限。我们提出了StarGAN v2,这是一个单一的框架,它解决了这两个问题,并显示了比基线显著改进的结果。CelebA-HQ和一个新的动物面孔数据集(AFHQ)的实验验证了我们在视觉质量、多样性和可扩展性方面的优势。为了更好地评估图像到图像的翻译模型,我们发布了AFHQ,具有较大域内和域内差异的高质量动物面孔。

斌擎科技 645

【技术综述】人脸算法新热点,人脸编辑都有哪些方向,如何学习

人脸属性编辑是一个很广的应用领域,不仅可以用于辅助其他诸如人脸识别等相关的任务,也可以独立成若干新的任务,在人机交互,娱乐社交领域有广泛应用,本文我们简单介绍其中核心算法以及如何深入学习...

hacker_long的专栏 2133

【研究生论文课题】基于解构与重绘的高一致性人脸编辑模型

本文提出了一种高一致性人脸编辑方法Flux,通过解构几何形变与纹理生成来解决身份漂移问题。Flux首先预测精确的像素位移流场模拟表情变化,生成半成品图像和施工区遮罩;然后利用扩散模型在遮罩区域内进行上下文感知的智能修复,同时结合身份特征确保一致性。这种"先形变后修复"的策略既保留了原始身份特征,又实现了生动的语义编辑。方法在保持90%以上原始像素的同时,仅对必要区域进行约束性生成,达到了编辑效果与身份保真的最佳平衡。Flux的创新性在于将复杂编辑任务分解为可控的几何变换和条件修复两个阶段

u012133341的博客 124

人脸属性编辑-课程笔记

过程:将e.g.微笑表情和无表情的图像(x)都经过encoder转换为潜在向量(z),通过潜在向量再生成图片,经过判别器而微笑表情和无微笑表情的潜在向量的差值就是对应于微笑属性的值,当需要该属性时就将这个属性的值和无表情的人脸进行叠加就可以可控的添加笑脸(获取任何属性向量,将向量和无表情叠加可以得到对应的表情图片)优点:可以实现任意属性的编辑,而无需训练多个模型缺点:人脸特征和属性特征没有解耦合,而各类属性之间也无法经过简单统计解耦(例如人的笑脸是和人的年龄,姿态存在耦合关系的)2.属性条件控制。

instance12的博客 1257

比亚迪璇玑架构:10ms级响应引领智能驾驶革命

比亚迪璇玑架构通过三大创新,实现10ms级控制响应时延,使AEB刹车距离比竞品缩短20米。

百态·数智思维 | 聚焦大数据、量化与未来AI 1257

从零开始:手把手教你检查并更新英伟达GPU驱动和CUDA版本(Windows/Linux双平台)

本文详细指导如何在Windows和Linux系统上检查并更新英伟达GPU驱动和CUDA版本,解决版本不匹配导致的常见问题。涵盖驱动更新、CUDA Toolkit安装、版本冲突排解及性能优化技巧,帮助开发者高效管理GPU计算环境。

weixin_29237635的博客 704

【亲测免费】 探索AttGAN-PyTorch:让AI随心所欲编辑面部特征

探索AttGAN-PyTorch:让AI随心所欲编辑面部特征 1、项目介绍 AttGAN-PyTorch是一个基于PyTorch的实现,用于任意面部属性编辑:只改变你想要的。这个项目源自论文《任意面部属性编辑:只改变你想要的》( Arbitrary Facial Attribute Editing: Only Change What You Want),它能让你控制图像中的特定面部特征,如添加胡子...

gitblog_00100的博客 521

AIDC智算中心建设:资源池化核心技术解析

AI 应用的POD在运行的时候,通过池化运行时访问虚拟GPU、执行AI任务,池化运行时拦截对虚拟GPU的访问请求、转递给池化服务代理执行,池化服务代理通过向智算池化控制器查询虚拟GPU所对应的真实智算资源位置、规格,按查询结果分配智算资源、执行AI任务,如果真实的智算资源位于远程计算节点,则由本地池化服务代理将访问请求转递给远程计算节点上的池化服务代理处理,相关通信经由参数面网络。

u013891230的博客 2432

【总结】有三AI所有原创GAN相关的学习资料汇总(2022年12月)

GAN的研究和应用在这几年发展可以说是非常迅猛,无疑是这几年深度学习计算机视觉领域里落地性最酷的技术之一,包括图像与视频生成,数据仿真与增强,各种各样的图像风格化任务,人脸与人体图像编辑,图像质量提升等。GAN最早期也是最经典的任务,就是高质量图像生成,当前已经可以生成1024分辨率以上的高清逼真图像,如下图生成了一些假明星脸。图像翻译与风格化则是另外一个应用极其广泛的领域,因为从图像到图像的任务...

hacker_long的专栏 1040

数电发票“乐企直连”服务平台建设方案

数字化电子发票“乐企直连”服务平台建设方案

m0_73174802的博客 4856

香橙派5使用RK3588S内置NPU加速yolov5推理,实时识别数字达到50fps

香橙派5采用了RK3588S,内置的NPU达到了6Tops的算力,博主这里记录一下自己的踩坑过程,好不容易做出来的不能以后忘记了(手动狗头)。这里博主还在B站上发布了效果视频,大家感兴趣的话可以看一下。其中解决了先验框标注位置不对,或者出现非常多的框的问题

weixin_51651698的博客 2万+

【通知】《生成对抗网络GAN原理与实践》代码开源,勘误汇总!

有三上个月出版了新书《生成对抗网络GAN:原理与实践》,Generative Adversarial Networks(中文名生成对抗网络,简称GAN)自从被提出来后,其发展就非常迅猛,几乎已经被应用于所有CNN可以使用的领域,应用涉及图像与视频生成,数据仿真与增强,各种各样的图像风格化任务,人脸与人体图像编辑,图像质量提升。学好GAN算法,对于计算机视觉领域从业,完全是有必要的。我们公众号输出过...

hacker_long的专栏 1223

用群辉NAS打造影视墙(Jellyfin篇)

之前的文章提到过,用群辉NAS组建影视播放系统可以采用官方提供的Video Station套件,不过影视信息配比较差,响应速度也欠佳,今天我们就聊聊别的套件。在影音媒体方面,常见的还有Emby、Plex、Jellyfin。本文主讲Jellfin的原因是它胜在免费,而且功能比较齐全,完全够用。详细信息可以参考Jellyfin的官网:https://jellyfin.org/

dgnankai的专栏 7325

【seeprettyface.com】开源源码:人脸属性编辑器

源码下载地址:github.com/a312863063/seeprettyface-face_editor 了解制作方法:www.seeprettyface.com —————————————————————————————————— 人脸属性编辑器(赠品)     注明:这个属性编辑器适用于所有seeprettyface.com出品的定制人脸生成器(仅1024px版),属于购买生成器的赠品。 ...

a312863063的博客 3082

Monorepo与pnpm:前端项目管理的完美搭档

pnpm又称 performant npm,翻译过来就是高性能的npm。Monorepo是一种项目开发与管理的策略模式,它代表"单一代码仓库"(Monolithic Repository)。在Monorepo模式中,所有相关的项目和组件都被存储在一个统一的代码仓库中,而不是分散在多个独立的代码仓库中,这些项目之间还可能会有依赖关系。

m0_68271787的博客 2562

Fast-Lio2代码及论文解析2

点云数据频率较低而IMU为高频数据。

努力努力努力 2278

CVPR 2019 | STGAN: 人脸高精度属性编辑模型

AttGAN 和 StarGAN 在人脸属性编辑上取得了很大的成功,但当人脸属性之间相互交集或者目标人脸属性比较复杂时,这两种方式对于控制属性的标签上的精细化就显示了些许...

Paper weekly 2155

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

【人脸表情识别】不得不读的重要论文推荐(2015-2018篇)

前两篇专栏我们介绍了人脸表情识别的相关概念以及研究现状,并且了解了基于图片的人脸表情识别常用的数据集和预处理方法。接下来两篇专栏,笔者将从近5年基于图片的人脸表情识别的论文中推荐一些个人...

hacker_long的专栏 2174

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

【百战GAN】StyleGAN人脸属性(表情年龄性别)编辑代码实战

大家好,欢迎来到专栏《百战GAN》,在这个专栏里,我们会进行GAN相关项目的核心思想讲解,代码的详解,模型的训练和测试等内容。作者&编辑 | 言有三本文资源与生成结果展示本文篇幅:7000字背景要求:会使用Python和Pytorch附带资料:参考论文和项目,视频讲解1 项目背景作为一门新兴的技术,GAN在很多人脸图像任务中有着广泛的应用,下面列举了一些典型的方向...

hacker_long的专栏 3458

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

【GANS】对Stylgan2的动漫头像预训练模型进行【属性编辑】

核心参考 Pretrained Anime StyleGAN2 — convert to pytorch and editing images by encoder 下载项目相关 stylegan2-pytorch (非官方) git clone https://github.com/viuts/stylegan2_pytorch.git 动漫头像(anime-face)模型下载 2020-01-11-skylion-stylegan2-animeportraits-networksnapshot-024

进一寸有一寸的欢喜 2885

【每周CV论文推荐】GAN与VAE的结合,有哪些必读的论文?

欢迎来到《每周CV论文推荐》。在这个专栏里,还是本着有三AI一贯的原则,专注于让大家能够系统性完成学习,所以我们推荐的文章也必定是同一主题的。VAE和GAN是两类最具有代表性的生成式模型,其中VAE是典型的显式生成模型,GAN是典型的隐式生成模型,两者的结合又可以产生什么样的火花呢,本次我们来介绍其中值得阅读的文章。作者&编辑 | 言有三1 VAE论文基本的GAN模型大家还是比较熟悉的,而...

hacker_long的专栏 2027

深入解析InterFaceGAN:基于生成对抗网络的人脸属性编辑技术

InterFaceGAN是一个基于生成对抗网络(GAN)的人脸属性编辑框架,它能够通过操作GAN的潜在空间来实现对生成人脸的多维度精确控制。该项目由genforce团队开发,主要支持PGGAN和StyleGAN两种主流生成模型,可以实现年龄、眼镜、性别、姿态和微笑等多种人脸属性的编辑。 ## 核心原理与技术特点 ### 1. 潜在空间分析 InterFaceGAN的核心思想是通过分析GAN模...

gitblog_00337的博客 618

CVPR 2021 人脸编辑GAN汇总

点击上方“机器学习与生成对抗网络”,关注星标获取有趣、好玩的前沿干货!1,Exploiting Spatial Dimensions of Latent in GAN for Real-t...

idol24的博客 6476

精准生成Fake人脸!Amazon全新GAN模型给你全方位无死角美颜

点击上方“机器学习与生成对抗网络”,关注"星标"获取有趣、好玩的前沿干货!新智元报道来源:外媒编辑:Q【新智元导读】近日,来自 Amazon One 的研究人...

idol24的博客 812

CVPR 2021:110篇GAN论文(清单版)

点击上方“机器学习与生成对抗网络”,关注星标获取有趣、好玩的前沿干货!戳我,查看GAN的系列专辑~!等你着陆!【GAN生成对抗网络】知识星球!下述论文已分类打包好!超110篇,事实上仍有...

idol24的博客 6599
上一篇: 【项目实战课】从零掌握安卓端Pytorch原生深度学习模型部署
下一篇: 【总结】有三AI重要原创人脸相关的技术文章汇总(2022年8月)
言有三
言有三 领域专家: 人工智能技术领域 领域专家: 人工智能技术领域
博客等级 码龄15年 3635粉丝 976原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

言有三

三人行必有AI

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值