飞桨论文复现挑战赛(第四期)冠军 —— paddle-SAM

本文档介绍了使用PaddlePaddle复现OnlyaMatterofStyle论文中提出的年龄转换模型SAM的过程。该模型利用StyleGAN的潜在空间进行年龄编辑,通过预训练的年龄回归网络指导编码器生成对应年龄的潜在代码。复现结果在 CelebA 和 FFHQ 数据集上展示了不同年龄段的图像,并与其他先进方法进行了比较。训练和预测的步骤、环境依赖、代码结构和参数设置也进行了详细说明。遇到的主要挑战包括预训练模型的转换、损失函数的实现以及梯度传播问题。

论文复现:Only a Matter of Style: Age Transformation Using a Style-Based Regression Model

一、简介

本文提出了一种图像到图像(image-to-image)的年龄转换方法,该方法促使编码器学习将真实面部图像编码到预先训练的无条件 GAN(例如 StyleGAN)的潜在空间中,该编码器会受到给定的年龄变化的影响。
0
本文将老化过程作为输入年龄和目标年龄之间的回归任务,对生成图像的年龄提供细粒度控制(而不是只能老化到给定的年龄),使用预先训练的年龄回归网络来明确地指导编码器生成与期望年龄相符的潜在代码,编码器的任务是将输入的面部图像直接编码为一系列样式向量,以适应所需的年龄变化。然后将这些样式向量输入StyleGAN,以生成表示所需年龄变换的输出图像。

为了明确指导编码器生成相应的潜在代码,本文使用固定的、预训练的年龄回归网络作为训练过程中的年龄约束。本文方法命名为 SAM——Style-based Age Manipulation。因为年龄转换是通过学习到的中间样式表示来控制的。

最后,本文证明了本方法的端到端性质,加上 StyleGAN 丰富的潜在语义空间,允许进一步编辑生成的图像。定性和定量评估表明,与最先进的方法相比,本文的方法具有优势。

论文链接:Only a Matter of Style: Age Transformation Using a Style-Based Regression Model

赛场:

二、复现精度

参考官方开源的 pytorch 版本代码 https://github.com/yuval-alaluf/SAM,基于 paddlepaddle 深度学习框架,对文献算法进行复现后,本项目生成的年龄转换图像如下表所示。图片从左到右分别是:输入图片,模型生成的 0 岁,10 岁,20 岁,30 岁,40 岁,50 岁,60 岁,70 岁,80 岁,90 岁,100 岁图片,更多结果见 example 文件夹。

验收标准: CelebA 人眼评估生成的图像(可参考论文中展示的生成图片 Figure 4,6,8)

模型 图片
Pytorch 1
Paddle 2
Pytorch 3
Paddle 4
Pytorch 5
Paddle 6

以下是使用Paddle复现的其他结果
7

评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Skr.B

WUHOOO~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值