【每周CV论文推荐】StyleGAN人脸属性编辑有哪些经典论文需要阅读

VAE论文简单介绍(Auto-Encoding Variational Bayes) VAE论文简单介绍 阅读详情

欢迎来到《每周CV论文推荐》。在这个专栏里,还是本着有三AI一贯的原则,专注于让大家能够系统性完成学习,所以我们推荐的文章也必定是同一主题的。

当前人脸图像领域的研究和落地都发展得非常迅速,这几年里人脸领域中最令人振奋的莫过于人脸属性的编辑,实现了换脸、表情生成、年龄仿真等酷炫的应用,其中基于StyleGAN的人脸属性编辑是最经典的方法,本次我们来给大家介绍相关经典的研究。

作者&编辑 | 言有三

1 StyleGAN系列

首先我们当然要掌握好StyleGAN系列模型,这是当前图像生成GAN领域里最强大的模型,目前StyleGAN模型共有StyleGAN v1,StyleGAN v2,StyleGAN v3共3个。

文章引用量:8000+

推荐指数:✦✦✦✦✦

e30c0f1570515b382f87e10948585dc5.png

[1] Karras T, Laine S, Aila T. A style-based generator architecture for generative adversarial networks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019: 4401-4410.

[2] Karras T, Laine S, Aittala M, et al. Analyzing and improving the image quality of stylegan[C]//Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2020: 8110-8119.

[3] Karras T, Aittala M, Laine S, et al. Alias-free generative adversarial networks[J]. Advances in Neural Information Processing Systems, 2021, 34: 852-863.

2 Image2StyleGAN系列

Image2StyleGAN系列是一个非常典型的基于StyleGAN潜在空间的人脸编辑框架,实现了多人脸的属性编辑,包括风格迁移,样式插值,表情添加。

文章引用量:700+

推荐指数:✦✦✦✦✦

37871220d389bebd69577fc69fffa7ee.png

[4] Abdal R ,  Qin Y ,  Wonka P . Image2StyleGAN: How to Embed Images Into the StyleGAN Latent Space?[J]. IEEE, 2019.

[5] Abdal R, Qin Y, Wonka P. Image2stylegan++: How to edit the embedded images?[C]//Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2020: 8296-8305.

3 InterFaceGAN

InterFaceGAN是一个更加通用的基于StyleGAN潜在空间的人脸编辑框架,通过方向向量的求解,可以非常平滑地实现对人脸常见属性的编辑,包括年龄、微笑表情、性别、姿态、妆造等常见属性。

文章引用量:500+

推荐指数:✦✦✦✦✦

0f998ae8ec729dfedd0838fb94c4423e.png

[6] Shen Y, Gu J, Tang X, et al. Interpreting the latent space of gans for semantic face editing[C]//Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2020: 9243-9252.

4 GANSpace和SeFa

Image2StyleGAN系列和InterFaceGAN是有监督的框架,需要额外的属性模型来学习潜在空间中的人脸属性方向向量,对于一些不好进行分类的属性效果不好,而GANSpace和SeFa都是基于在潜在空间中进行PCA降维,自动寻找属性方向向量的无监督框架,可以更自由地编辑一些属性,如发型姿态等。

文章引用量:500+

推荐指数:✦✦✦✦✦

1ebeed7bc3a10e34ec9519dd37f90aca.png

[7] Härkönen E, Hertzmann A, Lehtinen J, et al. Ganspace: Discovering interpretable gan controls[J]. Advances in Neural Information Processing Systems, 2020, 33: 9841-9850.

[8] Shen Y, Zhou B. Closed-form factorization of latent semantics in gans[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021: 1532-1540.

6 如何进行实战

为了帮助大家掌握基于StyleGAN的人脸属性编辑算法理论与实战!我们推出了相关的项目实战课程《基于Pytorch的StyleGAN人脸属性(表情、年龄、性别)编辑实战》,感兴趣可以进一步阅读:

【视频课】StyleGAN人脸生成与年龄表情编辑:原理与实践

24686545bfbb496bcb4d8cc29f13aaae.gif

总结

本次我们介绍了当前最经典的基于StyleGAN进行人脸属性编辑的一些方法,它们也可以被迁移到其他图像编辑领域,对于从事GAN和图像编辑领域的朋友,值得进行掌握。

有三AI秋季划-GAN组

bef8945c8e300245b7f51baa1bac3936.png

如果想要永久系统性地跟随我们社区学习GAN的相关内容,请关注有三AI-CV秋季划GAN组,阅读了解下文:

8969a8dedc26c1dc658b9211807def59.png

【CV秋季划】生成对抗网络GAN有哪些研究和应用,如何循序渐进地学习好(2022年言有三一对一辅导)?

转载文章请后台联系

侵权必究

f3f75bd63aa8adbbc675060e00ff7316.gif

e3f1e864695b81bf51e148c9dd286573.png

202344e6d7259b384e55b2ecde43f251.png

往期相关精选

深入浅出搞懂VAE 2013年提出的VAE,跨越11年,获得首届ICLR‘24时间检验奖,是深度学习的重要技术之一。这篇论文把深度学习和可扩展的概率推理整合在一起,从而产生了变分自编码器(VAE),这项工作其持久的价值在于优雅,加深了我们对于深度学习和概率建模之间相互作用的理解,引发了许多后续有趣的概率模型和编码方法的开发。下面按照三个部分进行,由易到难:核心思想,技术难点和实现(如何将概率转换成网络?),理论支持(变分下界推导,损失函数),复盘。 阅读详情

相关推荐

【论文阅读】(VAE)Auto-Encoding Variational Bayes

【论文阅读】(VAE)Auto-Encoding Variational Bayes

weixin_45142381的博客 2762

论文精读--VAE

我们如何在有连续潜在变量和难以处理的后续分布的定向概率模型中进行有效的推理和学习?我们引入了一种随机变分推理和学习算法,该算法可扩展到大型数据集,并且在一些温和的可微分性条件下,甚至在难以处理的情况下也能工作。我们的贡献有两个方面。首先,我们展示了对变分下界的重新参数化产生了一个下界估计器,该估计器可以使用标准的随机梯度方法直接优化。

m0_73202283的博客 1766

VAE(变分自编码器)论文学习

VAE(变分自编码器) 论文《Auto-Encoding Variational Bayes》 Variational Auto-Encoder 我们平常的编码器可以对数据进行压缩,降噪之类的一些处理,但是实际上不能来生成任意数据。 而VAE就可以,它可以直接通过模型生成隐变量z,并且z是及含有数据信息又含有噪声的,所以可以无穷无尽的生成数据 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传 这是一个重要的生成模型(功能和GAN相似),不过VAE采用的是概率的思想(我们知道密

Facico的博客 4638

【每周CV论文推荐】GAN与VAE的结合,有哪些必读的论文?

欢迎来到《每周CV论文推荐》。在这个专栏里,还是本着有三AI一贯的原则,专注于让大家能够系统性完成学习,所以我们推荐的文章也必定是同一主题的。VAE和GAN是两类最具有代表性的生成式模型,其中VAE是典型的显式生成模型,GAN是典型的隐式生成模型,两者的结合又可以产生什么样的火花呢,本次我们来介绍其中值得阅读的文章。作者&编辑 | 言有三1 VAE论文基本的GAN模型大家还是比较熟悉的,而...

hacker_long的专栏 2027

手把手教你用Python实现双三次插值(附OpenCV对比测试)

本文深入解析了双三次插值算法的数学原理,并提供了从零开始的Python实现教程。通过与OpenCV官方实现的对比测试,详细评估了不同插值算法(包括最邻近差值、双线性插值)在图像质量与计算性能上的差异,帮助开发者掌握高质量图像缩放的核心技术。

weixin_29310605的博客 297

SCCM部署教程:(3)SCCM安装

这两则摘要介绍了WSUS和SCCM的安装步骤: WSUS安装:通过服务器管理器添加"Windows服务器更新服务"角色,选择SQL数据库并指定安装路径,验证数据库连接后完成安装。 SCCM安装:先运行预检工具Prereqchk.exe,选择主站点安装类型,配置语言、站点代码和名称,设置SQL数据库连接参数(保留默认端口4022),选择通信方法和系统角色(管理点和分发点),最后完成约1小时的安装过程。 两则安装指南都强调要确保数据库配置与前期准备一致,并提供了关键配置选项的说明。

小V锅的专栏 919

【每周CV论文推荐】初学人脸属性编辑都有哪些值得阅读的论文?

欢迎来到《每周CV论文推荐》。在这个专栏里,还是本着有三AI一贯的原则,专注于让大家能够系统性完成学习,所以我们推荐的文章也必定是同一主题的。当前人脸图像领域的研究和落地都发展得非常迅速,这几年里人脸领域中最令人振奋的莫过于人脸属性的编辑,实现了换脸、表情生成、年龄仿真等酷炫的应用,本次我们来介绍初入该领域值得阅读的文章。作者&编辑 | 言有三1 基于StyleGAN的通用人脸属性编辑基于...

hacker_long的专栏 1140

【华为2021校招】笔试题【通用硬件】

时间:2020/07/15 19:00 时长:60min 题型:40单选+5多选 难度:中等 考察范围:模电、数电、SI、EMC、电源、微机原理、计算机网络、材料

Jkcia的博客 4万+

【星球知识卡片】人脸属性编辑都有哪些核心知识点,如何长期进行学习

大家好,欢迎来到我们的星球知识小卡片专栏,本期给大家分享人脸属性编辑的核心技术点。作者&编辑 | 言有三 1 人脸表情编辑人脸表情编辑即更改脸部的表情属性,包括嘴唇、鼻子等区域...

hacker_long的专栏 911

【论文复现】——基于欧式聚类的车载点云道路提取

针对车载激光点云道路信息提取的问题,提出了一种基于欧式聚类的道路提取方法。首先通过统计滤波去除噪点以免对后续处理结果产生影响,然后用坡度滤波去除路坎点,使道路边界与人行道、绿化带等与路坎相连的地物形成10~25 cm的高程阶跃,最后用欧式聚类将路面点云与其他地物点云聚类为一簇或多簇并保留道路簇,从而实现道路点云的精确提取。

点云侠的博客 1135

【yolo】如何在 YOLOv8 中添加负样本以减少误检

在YOLOv8目标检测中,误检(False Positive)是一个常见问题,即模型将非目标区域错误识别为目标。通过引入负样本(Negative Samples),即不包含任何目标框的图像,可以有效减少误检。在YOLOv8中添加负样本的方法是为这些图像提供空的标注文件(.txt),确保每张图像都有对应的标注文件,即使内容为空。可以使用Python脚本自动生成这些空标注文件。使用负样本时需注意数量比例、标注一致性、验证集同步和图像质量。适当加入负样本能显著提升模型鲁棒性,降低误判风险。

songhuangong123的博客 2879

【总结】有三AI所有原创GAN相关的学习资料汇总(2022年12月)

GAN的研究和应用在这几年发展可以说是非常迅猛,无疑是这几年深度学习计算机视觉领域里落地性最酷的技术之一,包括图像与视频生成,数据仿真与增强,各种各样的图像风格化任务,人脸与人体图像编辑,图像质量提升等。GAN最早期也是最经典的任务,就是高质量图像生成,当前已经可以生成1024分辨率以上的高清逼真图像,如下图生成了一些假明星脸。图像翻译与风格化则是另外一个应用极其广泛的领域,因为从图像到图像的任务...

hacker_long的专栏 1040

linux 基于debian/ubuntu AB系统适配(二)-updateEngine移植

其实A/B系统的原理很简单,大部分的工作都集中在uboot上,rootfs只是起到一个辅助的作用,但这个作用也就必不可少的。你会发现在这个其中并没有kernel的参与。

badbayyj的博客 1035

【通知】《生成对抗网络GAN原理与实践》代码开源,勘误汇总!

有三上个月出版了新书《生成对抗网络GAN:原理与实践》,Generative Adversarial Networks(中文名生成对抗网络,简称GAN)自从被提出来后,其发展就非常迅猛,几乎已经被应用于所有CNN可以使用的领域,应用涉及图像与视频生成,数据仿真与增强,各种各样的图像风格化任务,人脸与人体图像编辑,图像质量提升。学好GAN算法,对于计算机视觉领域从业,完全是有必要的。我们公众号输出过...

hacker_long的专栏 1223

CADENCE 25.1打开元件库ERRORCannot perform the operation because of an exception.

摘要:解决CADENCE25.1打开元件库报错"ERRORCannotperformtheoperationbecauseofanexception"的方法:该错误通常由软件中文设置导致。解决方案为:进入Options→Preferences→MorePreferences,取消勾选两个本地语言选项后重启软件即可恢复正常。此方法简单有效,能快速解决因语言设置导致的元件库访问异常问题。(98字)

0 1021

HBV模型

据说mHM模型也是基于HBV模型原理。 网上不同版本的HBV模型稍有差别 def hbv_main(n_days, params, air_temp, prec, dpem): #n_days 模拟天数 #air_temp 每月温度 #prec 降水 #dpem 每月蒸发 Tsnow_thresh = 0.0 ca = 410. # Initialize arrays for the simiulation snow = np.zeros(air_temp.size

m0_46268055的博客 2333

VAE-GAN联合模型:Autoencoding beyond pixels using a learned similarity metric

一、背景 深度架构允许广泛的判别模型扩展到大型和多样化的数据集,然而,生成模型仍然存在图像和声音等复杂数据分布的问题。在这项工作中,本文表明,目前使用的相似性度量对学习良好的生成模型造成了障碍,可以通过使用学习的相似性度量来改进生成模型。 当学习模型如变分自编码器(VAE)时,核心是选择相似性度量,因为它通过重建误差目标提供训练信号的主要部分。对于这个任务,像平方误差这样的元素度量是默认值。元素度量很简单,但不太适合图像数据,因为它们不能模拟人类视觉感知的属性。例如,一个...

RrS_G的博客 3022

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

VAE论文阅读

其实有了概率密度,可以直接在里面采样。这里是推导过程,大家都这么写。在实际操作的时候,所有的p都会变成一个已知的分布,否则无法计算的。pθx一些公式p_\theta(x) = 一些公式pθ​x一些公式这些公式计算后发现是一个高斯分布NμσNμσxμσεxμσε其中ϵ\epsilonϵ是随机采样的噪声。所以说,两种形式必须都能看懂才行。

HGGshiwo的博客 1722

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

Variational Auto-Encoder (VAE)论文阅读与公式推导

1.问题描述 给定一个数据集,假设其满足样本间独立同分布。本质上,我们希望得到关于该数据集的真实的概率分布p(x),虽然有一些方法能够直接估计p(x)中某一点的概率(例如核密度估计、近邻方法),但这些方法一方面准确性较差,并且随着样本维度的升高,对样本数量的需求也是指数增加的。简单来说,我们多数情况下无法知道p(x)。 那么换一个思路,假设每个样本是由一组潜在的因素决定,这些因素...

jinjiahao5299的专栏 2242

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

VAE理论详解,从概率的角度出发,还原论文推导

如下图所示,生成模型的目标是在一个已只分布p(z)中随机采样z,经过网络G,生成的结果xGzxGz是满足训练数据p(x)的分布,我们假定生成的分布为pgp_gpg​,训练样本的分布为pdatap_{data}pdata​,一个非常麻烦的事是我们不知道,也无法去知道pdatap_{data}pdata​的分布,无法去做损失函数求解G。你可以这样理解,我们生成网络的目的是要得到pgpdatapg​pdata​。

m0_59156726的博客 1249

阅读笔记-VAE相关论文:Multi-Object Representation Learning with Iterative Variational Inference

Multi-object representation learning with iterative variational inferenceZ 摘要: 人类的感知是围绕着物体进行的,它构成了我们高层次认知和令人印象深刻的系统概括能力的基础。然而,大多数关于表征学习的工作都集中在特征学习上,甚至没有考虑多个物体,或者将分割作为一个(通常是监督的)预处理步骤。相反,我们论证了学习分割和表示对象的重要性。我们证明,从一个场景由多个实体组成的简单假设出发,有可能学习将图像分割成具有分离表征的可.

citrusxx的博客 1015

读论文系列【一】:VAE/GAN网络结构的介绍

VAE/GAN网络结构的介绍摘要Variational AutoencoderAEVAE生成对抗网络GANVAE/GAN主要贡献:实验结果总结参考资料 摘要 自动编码器(AE)是数据检索,数据降噪的有力工具,变分自动编码器(VAE)更是一种有效的生成模型。14年生成对抗网络(GAN)的提出,为图像处理,信号处理等领域提供了新的处理工具。我以VAE/GAN这一篇经典的网络结构为主,辅以GAN和VAE...

CNcorazon的博客 6760

论文学习—VAE

这篇博文我介绍了一下我看VAE原文的一些体会,可能不太会写,希望能和大家一起沟通交流,互相进步。

LOVE_105的博客 1141

生成式模型(VAE+GAN)

1.VAE-变分自编码器 1.1 交叉熵 1.1.1 信息量 首先是信息量。假设我们听到了两件事,分别如下: 事件A:巴西队进入了2018世界杯决赛圈。 事件B:中国队进入了2018世界杯决赛圈。 仅凭直觉来说,显而易见事件B的信息量比事件A的信息量要大。究其原因,是因为事件A发生的概率很大,事件B发生的概率很小。所以当越不可能的事件发生了,我们获取到的信息量就越大。越可能发生的事件发生了,我们获取到的信息量就越小。那么信息量应该和事件发生的概率有关。 假设X是一个离散型随机变量,其取值集合为χ,概率分布函

qq_41036272的博客 6786

论文领读|基于 VQVAE 的长文本生成

本次与大家分享一篇建模长文本篇章结构的工作,用以提升生成文本的连贯性。

langboat_mengzi的博客 1034

Adversarial learned Inference(对抗学习推断器)

一. 模型结构 生成网络Gx(z)G_x(z)Gx​(z):将潜在变量的随机样本映射到数据空间; 推断网络Gz(x)G_z(x)Gz​(x):将数据空间的训练样本映射到潜在变量空间; 判别网络D(x,z)D(x,z)D(x,z):分辨联合样本(潜在变量和训练样本(x,z)(x,z)(x,z))是来自生成网络还是推断网络的。 【参考】 ADVERSARIALLY LEARNED INFERENCE 从GAN 到 ALICE 的简单介绍 ...

weixin_40680322的博客 1359
上一篇: 【重要】中秋节&教师节快乐!有三AI所有课程限时三天优惠
下一篇: 【每周CV论文推荐】初学基于GAN的视频生成有哪些经典论文需要阅读
言有三
言有三 领域专家: 人工智能技术领域 领域专家: 人工智能技术领域
博客等级 码龄15年 3635粉丝 976原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

言有三

三人行必有AI

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值