飞桨 StarGAN-v2 论文心得

图像生成中图像质量评估指标— LPIPS介绍 Learned Perceptual Image Patch Similarity(LPIPS)是一种基于深度学习的图像相似度评估指标。与传统的基于误差的评估方法不同,LPIPS利用训练好的神经网络模型来学习图像内容的感知相关性,从而提供一种更符合人类视觉感知的图像质量评价方式。LPIPS通过比较两幅图像的局部感知特征来评估它们的相似度。这些特征是通过在大量的图像对上训练一个深度卷积神经网络得到的,网络学习将图像内容映射到一个低维空间,在这个空间中,人类感知上相似的图像具有较小的距离。 阅读详情

百度飞浆论文复现营

 

官方pytorch代码实现

Github

 

StarGAN-v2是一个可以实现图像到图像转换的GAN网络,前身是StarGAN.

相较于前作,功能上的一个不同是在同一个域的情况下添加了“样式”的转换,而之前的StarGAN做了域的转换,而样式没有变化,见下图(A)

图中D, E, F为StarGAN-v2在StarGAN baseline之上逐步添加样式转换的效果。可以看出,StarGAN-v2的多样性远大于前作StarGAN。

 

概念解释

在论文的介绍中,给出了域(domain)和风格(style)的定义。

  • 域:一个图像集合,其中的图片可以被分类为同一种具有视觉区分度的类型。
  • 风格:每个图像具有的独特外观。

 

网络模型

StarGAN-v2网络由四个模块组成:Generator(生成器),Mapping network(映射网络),Style encoder(样式编码器),Discriminator(判别器)

 

Generator(生成器)

生成器将输入图像x转换为输出图像:G(x; s)

其中s为样式编码,由映射网络F生成或者由样式编码器E生成。

 

Mapping network(映射网络)

根据隐编码z和域y,映射网络生成央视编码s = Fy(z),Fy代表映射网络对应域y的输出。映射网络F由多层感知机MLP和多个输出分支(与域的数量相同)组成。

 

Style encoder(样式编码器)

根据图像x和其对应的域y,样式编码器E提取出样式编码s = Ey(x),Ey代表样式编码器对应域y的输出。

 

Discriminator(判别器)

StarGAN-v2的判别器使用了多任务判别器,由多个输出分支构成。每个分支Dy学习一个二分类问题:判断图像x是域y的真实图像,还是由生成器生成的图像G(x; s)

 

 

损失函数

损失函数由四个子函数组成:对抗损失,样式重建损失,样式多样性损失,源保留损失(循环一致性损失)

 

对抗损失

在训练过程中,随机采样隐编码 和域,然后生成目标样式编码。生成器G使用图像x和样式编码通过上面的对抗损失来学习如何生成图像。

Dy表示D的输出对应了域y。

 

样式重建损失

为了促使生成器G在生成图片时利用样式编码,论文使用了上面的样式重建损失。这和之前一些论文的损失函数类似,他们使用了多个encoder来学习图像到隐编码的映射。与他们不同的是,该论文只使用了一个encoder来学习不同域不同风格的输出。

 

样式多样性损失

为了进一步使生成器G生成多样化的图像,论文显式的增加了一个正则项损失,如上式。

 

源保留损失(循环一致性损失)

为了保证生成的图像能够合理地保留域无关的特征(比如姿势),论文使用了循环一致性损失

 

最终损失函数

最终的损失函数就是如下公式

 

 

网络结构

 

生成器

对于AFHQ数据集,生成器使用了4个下采样块,4个中间块和4个上采样块。上采样块和下采样块使用了IN(Instance Normalization)和AdaIN(Adaptive Instance Normalization). 样式编码注入到所有的AdaIN层,通过仿射变换提供了伸缩和位移向量。

 

映射网络

映射网络由K个输出分支的MLP构成,K是域的个数。前面的4个全连接层在所有的域之间共享,后面的4个全连接层是每个域独有不共享

 

样式编码器

样式编码器由K个输出分支的CNN构成,K为域的个数。前面6个残差块在所有的域间共享,后面接1个全连接层为每个域独有不共享。

 

判别器

判别器和样式编码器的网络结构相同

 

 

模型效果

 

根据样例图片生成图像

 

 

 

根据隐编码生成图像

左侧为CelebA-HQ数据集上的效果,右侧为AFHQ数据集上的效果

 

 

评估指标

Frechét inception distance (FID)

FID可以衡量两个图片的差异性。论文中使用了在ImageNet上预训练的Inception-V3网络的最后两层平均池化层的特征向量来计算。

 

Learned perceptual image patch similarity (LPIPS)

LPIPS可以衡量生成图片的多样性:通过计算在ImageNet预训练的AlexNet提取的特征的L1距离。

 

 

 

图像质量的评价指标【PSNR/SSIM/LPIPS/IE/NIE/Prepetual loss】 图像质量的评价指标【PSNR/SSIM/LIPIS/IE/NIE/Perceptual loss】 阅读详情

相关推荐

【飞桨PaddlePaddle论文复现课程】【GAN】论文解读之StarGAN v2

一、前言 论文复现课程链接:https://aistudio.baidu.com/aistudio/education/group/info/1340 这篇博客主要是对飞桨PaddlePaddle论文复现课程中GAN论文的解析. 二、论文解读 论文的任务是多域图像转换(Multiple Domain Image-to-Image translation) 涉及到2个关键概念: Domain:一组可以分为视觉上独特类别的图像 Style:每个图像都有唯一的外观 论文动机: ...

FlyingPie的专栏 893

LPIPS(Learned Perceptual Image Patch Similarity)

学习感知图像块相似度(Learned Perceptual Image Patch Similarity, LPIPS)也称为“感知损失”(perceptual loss),用于度量两张图像之间的差别。来源于CVPR2018《The Unreasonable Effectiveness of Deep Features as a Perceptual Metric》,该度量标准学习生成图像到Ground Truth的反向映射强制生成器学习从假图像中重构真实图像的反向映射,并优先处理它们之间的感知相似度。LP

weixin_43466026的博客 3万+

STARGAN-V2以及GALAXY-GAN

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar

weixin_44312959的博客 437

LPIPS 图像相似性度量标准、感知损失(Perceptual loss)

LPIPS 图像相似性度量标准(感知损失)

Drug discovery 6万+

计算和比较不同图像重建方法之间的视觉相似性,使用 LPIPS(Learned Perceptual Image Patch Similarity)度量来评估。

计算和比较不同图像重建方法之间的视觉相似性,使用 LPIPS(Learned Perceptual Image Patch Similarity)度量来评估。

qq_44050612的博客 1211

PerceptualSimilarity

基于Watson感知模型的生成神经网络的损失函数 Steffen Czolbe,Oswin Krause,Igemar Cox,Christian Igel-NeurIPS 2020 该存储库包含设计和评估的相似性指标,以及重新运行实验的说明和代码。 在深度学习框架PyTorch中的实现。 Python 3文件和Jupyter Notebook中提供的代码。 注意:这是版本库发布后的更新版本。 它包含以下更改: 修复了导致整个实验中的数据标准化不一致的问题。 现在,所有实验都将数据归一化到0..1范围。 重新调整了超参数,并重新生成了纸上的所有图形。 我们观察到总体上相似的结果。 查看并排比较。 添加了多个以前不包括的依赖项。 添加了多个shell脚本以更轻松地重现所有实验。 不再需要Jupyter笔记本来复制纸张\ o / 使用相似性指标 通过导入LossProvider可以

【飞桨】【PaddlePaddle】【论文复现】StarGAN v2论文及其前置:GAN、CGAN、pix2pix、CycleGAN、pix2pixHD、StarGAN学习心得

目录GANCGANpix2pixCycleGANpix2pixHDStarGAN PaddlePaddle: 百度顶会论文复现营. GAN GAN,即生成对抗网络,其网络结构主要包含一个生成器G和一个判别器D。首先,一个n维噪声输入到模型中,由生成器生成一个fake图像(根据目标而定),接着传入真实图像,resize成与fake图像相同大小,共同输入到判别器D中,送入训练网络中,训练趋势是使生成器生成越来越逼真,可以“以假乱真”的假图像,而判别器的精度也不断提升,最后,判别器D无法区分生成器G生辰的fak

sp7414的博客 1917

药物重定位实战:如何用反向找靶技术挖掘老药新用(附Python代码示例)

本文详细介绍了药物重定位中的反向找靶技术,通过分子相似性计算、机器学习模型和结构对接等方法,挖掘已有药物的新治疗潜力。附Python代码示例,帮助读者快速实现从分子结构到潜在靶标的智能预测,显著提升药物研发效率。

weixin_28726671的博客 259

基于PaddlePaddle的飞桨论文解读:StarGAN v2: Diverse Image Synthesis for Multiple Domains

目录 摘要 StarGAN v2网络架构 实验 1.Baselines 2.数据集 3.评价指标 实验结果分析 1.个别成分分析 2.多种图像合成方法的比较 结论 模型代码(model.py) 主体代码(main.py) 总结 摘要 一个好的图像到图像的翻译模型应该学习不同视觉域之间的映射,同时满足以下特性:1)生成图像的多样性 2)多域的可伸缩性。现有的方法解决了这两个问题中的任何一个,其多样性有限,或者所有领域都有多个模型。我们提出了starganv2,一个...

qq_34357449的博客 842

云安全技术——搭建VPN

VPN(Virtual Private Network)是一种可以在公共网络上建立安全连接的技术。VPN是实现保密通信的基本手段,在windows系统上,可以直接进行VPN服务的搭建。1.VPN的工作原理:通过使用加密协议和认证机制,将本地计算机和远程服务器之间的通信加密和保护。2.VPN的分类:根据不同的方式和用途,VPN可以分为不同类型,例如远程访问VPN、站点到站点VPN等。3.VPN的优势:VPN可以带来许多好处,如提高数据安全性、隐藏真实IP地址、突破地理限制等。4.

qq_53142796的博客 3万+

USRP X410 MPM版本与主机UHD版本不匹配问题记录与解决

至此大功告成!之前安装软件的坑算是填起来了,再次记录一下,希望能帮到有同样问题的小伙伴~

yanzuwu233的博客 1437

基于飞桨paddlepaddle复现StarGAN v2

基于飞浆paddlepaddle复现StarGAN v2 百度顶会论文复现营 StarGAN v2: Diverse Image Synthesis for Multiple Domains 通过对论文的精读,完全掌握StarGAN v2 首先还是看下StarGAN v2在CelebA-HQ和AFHQ两个数据集上的表现(没打label的是实际的样张) 名词解释 domian:是指一组图像,具有一个独特类别的图像组。(男、女;猫、狗、老虎、豹) style:是在一个domain中,每个图片都有自己独

qq_34279913的博客 1632

【迁移学习综述】

迁移学习的目标是将某个领域或任务上学习到的知识应用到不同的但相关的领域或问题中。迁移学习的研究来源于一个观测:人类可以将以前的学到的知识应用于解决新的问题,更快的解决问题或取得更好的效果。迁移学习被赋予这样一个任务:从以前的任务当中去学习知识(knowledge)或经验,并应用于新的任务当中。换句话说,迁移学习目的是从一个或多个源任务(source tasks)中抽取知识、经验,然后应用于一个目标领域(target domain)当中去。

afadgas的博客 4321

【飞桨】【PaddlePaddle】【论文复现】之StarGAN v2介绍

参考文献 StarGAN v2: Diverse Image Synthesis for Multiple Domains 近日,百度推出了复现营活动,选了GAN方向和视频分类方向的共九篇论文带领入营的学员们用百度自研的PadddlePaddle框架进行复现,复现的好的还有奖学金,高达2w软妹币。我认为这是个学习的好机会,要复现论文必然要先精读论文,不仅要观其大略还要死扣细节,而魔鬼都藏在细节中。常听有人感叹,看了许多论文,依然过不好这一生,我想这或许是因为你没加入复现营。给个复现营的链接 戳此直达复现营

suspend2014的博客 1104

基于STM32F1XX 、HAL库的OPT4001-Q1环境光传感器驱动应用C语言程序设计

OPT4001-Q1 的输出是半对数 的,具有 9 个二进制对数满量程照度范围,每个范围内具有高度线性响应,使得 PicoStar™ 型号的测量能力为 312.5μlux 至 84klux,USON 型号的测量能力为 400µlux 至 107klux。// 禁用中断(示例)

PP_Cottage的博客 463

YOLO26 改进 | 基于特征蒸馏 | 知识蒸馏 (Response & Feature-based Distillation)

本文系统介绍了YOLO26中的知识蒸馏技术,包含五大核心方法:基于响应的蒸馏(学习分类概率)、基于特征的蒸馏(学习中间层表示)、基于关系的蒸馏(学习特征关联)、通道维度蒸馏(CWD)和前景背景分离蒸馏(FGD)。文章深入解析了每种方法的数学原理与实现细节,并提出动态训练策略,包括一致性匹配和蒸馏权重退火机制。通过教师模型向学生模型传递"暗知识",在保持模型轻量化的同时逼近大模型性能。配套代码支持模块化组合不同蒸馏方法,为YOLO26模型压缩提供了一套完整的解决方案。

weixin_51988935的博客 275

PaddlePaddle论文复现营——StarGAN v2论文解读

一、提出背景 论文作者认为:一个好的图像到图像的GAN模型,同时满足以下特性: 1)生成图像的多样性。既生成的图像不能太单一,具有一定的丰富性。 2)多领域的适应性。及能迁移人脸分割,也能在宠物图像上取得良好的效果。 现有的方法难以同时满足以上两点要求,因此们提出了StarGANv2。经过在CelebAHQ和AFHQ数据集上测试,表明在图像质量、多样性和可扩展性方面均具有一定优势。此外,作者提出了一个新的动物脸数据集(AFHQ),数据质量较高且变化丰富,并将这个数据集公开发布给研究社区。 二、重要概

wyhMiracle的博客 855

基于滤波反投影的图像重建算法matlab仿真

基于滤波反投影的图像重建算法是一种用于医学影像重建的计算机辅助技术。该算法可以从投影数据中重建出高质量的三维图像,被广泛应用于医学影像学、CT、PET等领域。本文将详细介绍基于滤波反投影的图像重建算法的原理、步骤和应用。一、原理介绍基于滤波反投影的图像重建算法基于X射线CT成像原理,它的主要思想是通过对投影数据进行处理,反推出被成像物体的三维形状。其核心原理是投影数据与目标物体之间的线性关系,即通过估计目标物体的吸收率来计算投影数据的变化,从而反推出目标物体的三维形状。

平时工作较为繁忙,私信消息一般晚上回复,谢谢大家~~ 386

飞桨PaddlePaddle论文复现营-stargan v2论文解读

论文题目 StarGANv2: Diverse Image Synthesis for Multiple Domains 对于多个领域的多样化图像合成 (YunjeyChoi YoungjungUh JaejunYooJung-Woo HaClova AI Research, NAVER Corp. EPFL) 论文任务 多领域间的多样化图像转换(img2img tranlation) 生成图像多样化 多个领域上具有可扩展性 什么是domain 一组可具有独特类别的图像 什么是style 一张图像具

Arrowarcher的博客 1009

高通平台N4单路输入的720P相机预览

N4的一路720P Camera作为MIPI摄像头使用

llw21680的专栏 165

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

StarGan v2 -飞桨PaddlePaddle 论文复现 之论文阅读

最近参加百度飞浆的论文复现课程,课程免费,有一定挑战性。 论文复现课程链接:https://aistudio.baidu.com/aistudio/education/group/info/1340 复现课程涉及到GAN生成和视频分类两个方向的9篇论文,老师大致综述和领读相关论文后,学员需要选择一篇来精读并用PaddlePaddle进行复现。不是直接从论文出发开始复现哈,而是基于论文并结合Pytorch的参考代码用PaddlePaddle来进行复现,要求精度达到原论文...

maoxy的专栏 492

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

【飞桨】【论文复现】StarGAN v2学习笔记

【飞桨】【论文复现】StarGAN v2学习笔记 StarGAN v2 github:https://github.com/clovaai/stargan-v2 Paper: https://arxiv.org/abs/1912.01865 前置论文 复现营课程链接:https://aistudio.baidu.com/aistudio/education/group/info/1340 1.cgan(Conditional Generative Adversarial Nets) 2.cyclegan(U

ers1245的博客 4171

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

百度飞桨PaddlePaddle论文复现——StarGANv2论文解读

百度顶会论文复现营 百度飞桨Paddle Paddle顶会论文复现营 论文解读 解读视频 PyTorch代码及论文 Github Motivation 多领域 考虑到每个域中的不同风格样式的图像。设计和学习此类模型会变得很复杂,因为数据集中可能有大量的style(每个图像都有唯一的外观)和domain(一组可以分为视觉上独特类别的图像)。 目前图像转换方法都仅考虑两个域之间的映射。若有K个域,需要训练 K(K-1 )生成器来处理每个域与每个域之间的转换。 StarGan缺乏多样性。由于每个域都由预先定义标

qq_34171983的博客 983

【飞桨PaddlePaddle】四天搞懂生成对抗网络(一)——通俗理解经典GAN

​​​​ 序言 做图像分类、检测任务时,为了提高模型精度,在数据处理方面,我尝试了很多数据增强tricks(包括了简单的裁切、变形、明暗、颜色调整,也包括了MixUp图像融合以及SMOTE这样的解决类别样本平衡的插值方法),取得了不错的精度提升。在查找资料时,我发现在人脸识别、行人重识别等任务中,还可以通过GAN(生成对抗网络)来生成具有多样高级语义特征的样本来充实训练集数据,以帮助提升模型精度。随着对GAN的了解逐步深入,我发现GAN是一种既有用,又好玩的深度学习模型,横空出世了许多让人眼前一亮的应用。

PaddlePaddle 7126

多邻域的多样化图像转换(StarGAN)-百度顶会论文复现(paddlepaddle)

StarGAN v2多邻域的多样化图像转换1.摘要2.主要工作2.1 可伸缩性问题(多领域)2.2 多个域上可扩展性问题(多样性)3.StarGanv2 网络结构4.结果展示5.结论 大家好! 下面分享一篇在百度顶会复现营学习到的论文StarGAN v2: Diverse Image Synthesis for Multiple Domains 1.摘要 一个好的图像到图像的翻译模型应该学习一个在满足以下特性的同时,不同视觉域之间的映射: (1)生成图像多样化 (2)多个域上具有可扩展性 所以作者提出了St

qq_42361534的博客 691
上一篇: 计算机系统结构 全局性相关
下一篇: apt安装包时报错:Certificate verification failed: The certificate is NOT trusted.
gbstack08
博客等级 码龄15年 25粉丝 51原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值