【GAN的应用】基于对抗学习的图像美学增强方法

【Cycle-Interactive GAN:弱光图像增强】 仅供自己参考 阅读详情

好久不见~甚是想念

由于年底了要处理的事情变得特别多,突然间醒悟好久没更新啦

于是深夜给大家带来一篇生成对抗网络在图片美学增强上的应用。

首先来个小问题,你能猜出下图的(b)(c)那一个是手动PS,哪一个是自动PS么??

0?wx_fmt=png

0?wx_fmt=png

不知道大家有没有猜对,反正我是一脸懵逼,因为觉得都不错 [摊手]

如何获得堪比手动PS的自动PS效果呢?下面就具体讲讲GAN网络实现图片风格自动增强的方法。

传统的图片自动增强方法需要全监督的分别训练图片尺寸修改模型(cropping)与颜色增强(color enhancement)模型。而作者提出的EnhanceGAN只需要弱监督(一个表示美学质量的二进制标签即可),并且可以对尺寸修改与色彩增强的模型参数实现自适应调整。

相关概念

Aesthetic Quality Assessment:

        基于人的审美感知区分美学上高质量与低质量的图片。一般基于data-driven的CNN网络模型。


Automatic Image Enhancement:

        主要分为以下两点

Cropping and Re-targeting: 旨在寻找最能表现美学价值的区域,将照片进行裁剪等修改使之更具有美学观赏性。

Color Enhancement and Style Transfer: 通过调整画面整体颜调使美学效果更加突出。使用regression models 和 ranking models 将输入图片映射到相应的groundtruth。

网络模型结构

0?wx_fmt=png

Preliminary

传统的GAN网络由一个生成器G和一个判别器D构成

0?wx_fmt=png

假设pg为z~pz时G(z)的分布,当pg收敛于实际数据分布pdata时,式(1)将达到全局最优值。

文章中作者参考了[1]里面的损失函数的定义

0?wx_fmt=png

式中fw是K-Lipschitz连续,可通过判别网络D进行逼近。

Generator Network (NetG)

0?wx_fmt=png

与普通GAN不同的是,文中设计的EnhanceGAN可自学习图片风格增强的参数{o}。对应不同的变换系数{To},给定输入图片I,可得到输出

0?wx_fmt=png

其中oL和oAB分别对应光照与颜色的调整系数,ocrop对应裁剪参数。

Generator network的结构采用ResNet-101(不含最后一层全连接层),并将最后一层池化层用来保存特征映射后的空间信息。如下图a所示。

图片裁剪的目的则是获得系数ocrop=[x,y,w,h]。基于attention models [2],cropping模型采用了一个卷积层(2048 --1),kernel size 1*1。如下图b所示。

而Top-K average pooling则是根据概率将元素聚类。如下图c所示。

0?wx_fmt=png

Generator网络效果如下所示

0?wx_fmt=png

而颜色增强模型在CIELab color space上,对于每一个像素点m,都有如下定义

0?wx_fmt=png

0?wx_fmt=png

其中系数oL=[a,b,p,q]和oAB=[oA,oB]=[a,b]均可有the convolution layer (2048--7)卷积层获得。

L,A,B的输入输出关系如下图所示

0?wx_fmt=png

Generator 的损失函数LG则可有如下几种形式

Adversarial Loss:

0?wx_fmt=png

Perceptual Loss:

0?wx_fmt=png

Regularization Loss:

0?wx_fmt=png

Discriminator Network (NetD)

文章所设计的判别网络用于评估图片美学质量。将ResNet-101网络中最后一层分类器转变为一个2个全连接神经元的输出层。

根据式(2)可以获得LD的损失函数为

0?wx_fmt=png

实验

作者将所设计的网络应用于CUHK-PhotoQuality Dataset (CUHK-PQ)和AVA Dataset。

1. Quantitative Evaluation

1)图片美学质量评估

0?wx_fmt=png

2)图片自动裁剪

作者定义了一个overlap ratio与Displacement Error来对裁剪效果进行评估

0?wx_fmt=png

评估结果如下两表所示

0?wx_fmt=png

0?wx_fmt=png

2. User Study

我们让一个专业的修图师帮我们用PS处理下100幅图片与文中所设计的EnhanceGAN处理的100幅图片进行对比,将图片发给26个评委进行打分,具体分数分布如下所示

0?wx_fmt=png

下列是具体图片的得分分布

0?wx_fmt=png

0?wx_fmt=png

0?wx_fmt=png

0?wx_fmt=png

0?wx_fmt=png

据统计,作者提出的 EnhanceGAN 美学评价均分为5.327,专业的人工修图得分为 5.419 ,原图得分4.254 。

可以说,设计的网络在图片风格自动增强方面还是很不错的~

0?wx_fmt=png

0?wx_fmt=png

[1] M. Arjovsky, S. Chintala, and L. Bottou. Wasserstein gan. arXiv:1701.07875, 2017. 2, 3, 4, 5, 7

[2] K. Xu, J. Ba, R. Kiros, K. Cho, A. C. Courville, R. Salakhutdinov, R. S. Zemel, and Y. Bengio. Show, attend and tell: Neural image caption generation with visual attention. In ICML, volume 14, 2015. 4

论文来源:

Deng Y, Loy C C, Tang X. Aesthetic-Driven Image Enhancement by Adversarial Learning[J]. arXiv preprint arXiv:1707.05251, 2017.


随着摄影平台积累的数据和用户的手动标注信息越来越多,相关的公司和团队在这个研究上将具有绝对压倒性的优势。

        这里还是给自己的摄影分享公众号《言有三工作室》和摄影平台500px,图虫做个宣传。

        知乎专栏已经开通,欢迎来吐槽,投稿

https://zhuanlan.zhihu.com/c_146817036?group_id=923257138554384384

0?wx_fmt=jpeg

0?wx_fmt=jpeg

0?wx_fmt=jpeg

GAN的应用:从图像生成到数据增强 1.背景介绍 深度学习技术的迅猛发展为人工智能领域带来了巨大的潜力。其中,生成对抗网络(Generative Adversarial Networks,GANs)作为一种深度学习技术,在图像生成、数据增强等方面具有广泛的应用前景。本文将从多个角度深入探讨GAN的应用,包括其核心概念、算法原理、具体实例以及未来发展趋势。 阅读详情

相关推荐

19、深度学习图像增强与黑盒滤波器参数估计的探索

本博客探讨了一种基于深度学习的图像增强方法,并提出了一种黑盒滤波器参数估计技术,使用户能够理解和微调增强过程。受Exposure方法启发,我们引入了三个可微分滤波器(阴影校正、通道平衡和高斯曝光),改善了颜色和色调增强效果。同时,通过基于规则的参数估计算法,将增强操作透明化,让用户获得更个性化的增强体验。实验表明,超过84%的用户更喜欢本文方法的增强结果。

u0v1w2x3的博客 181

资源|17类对抗网络经典论文及开源代码(附源码)

对抗网络专题文献集 第一篇论文 [Generative Adversarial Nets](the first paper about it) [Paper]:https://arxiv.org/abs/1406.2661 [Code]:https://github.com/goodfeli/adversarial 未分

人工智能 1万+

Python-ESRGANEnhancedSRGAN增强的超分辨率生成对抗网络

ESRGAN (Enhanced SRGAN) - 增强的超分辨率生成对抗网络

【图像超分辨】EnhanceNet

EnhanceNet网络结构损失函数训练细节实验结果参考博客 ICCV2017年的“EnhanceNet: Single Image Super-Resolution Through Automated Texture Synthesis”是与SRGAN同期的研究工作,有相似之处,使用perceptual loss提高生成图像的真实性,并使用GAN进行训练,但EnhanceNet更强调纹理统计特性...

sinat_36197913的博客 1761

GaN nanorod array as a precursor to enhance GaN:Mn ferromagnetism

GaN nanorod array as a precursor to enhance GaN:Mn ferromagnetism

UE5.5使用ControlRig实现MetaHumanNPC看向玩家

本文介绍了在虚幻引擎中实现NPC自然看向玩家的技术方案。通过MetaHuman的ControlRig系统,采用面部动画曲线+全身动画Montage的表演方式,结合ControlRig驱动CTRL_lookat控制器实现视线追踪。

平常心 1306

生成对抗网络入门指南(内含资源和代码)

生成对抗网络(GAN)是由两个相互竞争的网络组成的深度神经网络架构。 2014年,Lan Goodfellow和蒙特利尔大学包括Yoshua Bengio在内的其它研究人员在论文中介绍了生成对抗网络。Facebook的AI研究主管Yann LeCun称对抗训练是“近10年来最有趣的机器学习(ML)” 生成对抗网络具有很大的潜力,因为它们可以学习模拟任何数...

weixin_33739646的博客 819

手把手教你用稚晖君Dummy机械臂实现位置控制:代码解析与调试技巧

本文深入解析了稚晖君Dummy机械臂实现高精度位置控制的代码核心与调试技巧。从CAN总线通信协议、三种位置控制模式(基础、带时间约束、带速度限制)的解析入手,详细阐述了命令帧结构、状态同步机制及单位换算。文章还提供了从通信测试、PID参数整定到异常处理、性能优化的完整实战调试流程,并探讨了多轴协调、自适应控制等进阶话题,旨在帮助开发者快速掌握该机械臂的精准运动控制。

weixin_29164091的博客 417

MusePublic艺术创作引擎效果展示:基于生成对抗网络的艺术创新

本文介绍了基于生成对抗网络(GAN)的🏛️ MusePublic艺术创作引擎,该引擎专注于生成艺术感时尚人像。用户可在星图GPU平台上实现该镜像的自动化部署,快速搭建艺术创作环境。其核心应用场景包括根据文本描述生成具有特定艺术风格(如巴洛克宫廷风、赛博朋克等)的高质量人像图片,为设计师和创作者提供灵感与视觉化工具。

weixin_32306683的博客 147

【生成C01/C10材料常数excel表】

计算橡胶件的邵尔硬度和C01/C10材料常数

weixin_46153372的博客 1935

配置VScode编译、调试STM32(一)手动配置makefile和debug

做嵌入式的朋友们都应该有过想要有个功能强大的IDE或者编辑器,Keil MDK5、IAR EWARM是用的比较普遍的平台了,但是两者在编辑器方面都比较弱势,当然可以设置 或者使用外部编辑器,像Sourceinsight、notePad++这样,但毕竟需要切换回来进行Build、Debug,非常麻烦。 VScode从发布至今口碑一直很好,而且里面有非常多的插件,比如彩虹括号、Code Runner、...

hanhe0551的博客 4290

基于CycleGAN的山水风格画迁移

绘画是人类重要的一种艺术形式,其中中国的山水画源远流长,具有丰富的美学内涵,沉淀着中国人的情思。游山玩水的大陆文化意识,以山为德、水为性的内在修为意识,咫尺天涯的视错觉意识,一直成为山水画演绎的中轴主线。从山水画中,我们可以集中体味中国画的意境、格调、气韵和色调。随着互联网行业的发展,社交媒体逐渐兴起,人们经常在抖音、快手、微博等软件发布短视频或图片。发布图片前,人们一般要对视频或图片进行一些美化,最常见的就是添加一些滤镜。

angula 8774

【麒麟系统】Rsync文件复制与同步工具

本文摘要: Rsync是一款Linux/Unix系统标配的高效文件同步工具,支持增量传输、SSH加密、断点续传等核心功能,相比SCP具有显著优势。文章详细解析了Rsync的五种标准语法格式和常用参数组合,重点介绍了本地同步、远程SSH同步(推送/拉取)的实操方法,并提供了密钥免密登录配置方案。针对企业运维场景,还讲解了文件过滤、镜像同步(--delete)、迁移同步(--remove-source-files)、空运行预校验(--dry-run)等高级功能,以及带宽限速等优化技巧,帮助用户安全高效地完成各类

信创运维工程师 · 银河麒麟 & 容器实战 | 金融生产环境迁移·等保加固 | 142篇原创·17万+阅读 1001

如何使用AI一键为黑白漫画上色:CycleGAN技术的完整指南

# 如何使用AI一键为黑白漫画上色:CycleGAN技术的完整指南 你是否曾经看着心爱的黑白漫画,想象如果它能变成彩色该多好?传统漫画上色需要专业画师花费数小时甚至数天时间,但现在,借助人工智能技术,这个过程可以变得**快速、简单且完全免费**。Manga-colorization---cycle-gan项目正是这样一个基于CycleGAN技术的开源解决方案,能够自动将黑白漫画转换为彩色版本,让

gitblog_00858的博客 144

R语言使用rms包的psm函数拟合参数生存模型(parametric survival model)、并可视化列线图(诺模图、nomogram)

R语言使用rms包的psm函数拟合参数生存模型(parametric survival model)、并可视化列线图(诺模图、nomogram)

statistics+insight+vista+power 905

[AI] 本地部署 Dify 遇到 Internal Error?一文彻底解决密码不一致引发的问题

摘要:Dify本地部署常见InternalError错误主要由配置残留或密码不一致导致,特别是修改.env文件后未同步清除数据库记录。彻底解决方案包括:1)清理Docker数据;2)删除旧配置和数据库;3)还原源代码;4)重建.env文件;5)重新初始化部署。关键提醒:记录部署路径、备份.env文件并妥善保存密码。该错误本质是配置冲突,最有效方法是完全重置而非调试,保持清晰的部署管理可避免多数InternalError问题。(149字)

技术小甜甜:传播可落地技术,帮助个人和企业降低解决真实场景问题的成本 440

ESRGAN:基于GAN的增强超分辨率方法(附代码解析)

作者丨左育莘学校丨西安电子科技大学研究方向丨计算机视觉之前看的文章里有提到 GAN 在图像修复时更容易得到符合视觉上效果更好的图像,所以也是看了一些结合 GAN 的图像修...

Paper weekly 1万+

从原理到实战:深入解析 Synopsys VCS 仿真快照技术,提升验证效率

VCS Checkpoint 技术摘要 VCS Checkpoint 是 Synopsys VCS 提供的仿真状态快照功能,可将完整的仿真状态(寄存器、存储器、时钟、随机种子等)序列化保存。主要应用场景包括:跳过耗时初始化阶段、覆盖率驱动验证、Debug复现和UVM分阶段验证。核心原理是对仿真内核状态的完整序列化,需注意文件句柄等特殊对象需手动处理。 使用方式: 编译时添加 -checkpoint 选项 运行时通过 $save 系统任务或 +checkpoint 参数保存状态 通过 +restore 参数恢

元直的博客 254

Towards Unsupervised Deep Image EnhancementWith Generative Adversarial Network借助生成对抗网络实现无监督的深度图像增强

Abstract Improving the aesthetic quality of images is challenging and eager for the public. To address this problem, most existing algorithms are based on supervised learning methods to learn an automatic photo enhancer for paired data, which consis

learning5201的博客 3370

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

RefineDNet:一种弱监督的单图像去雾细化框架

在雾霾条件下,由于大气气溶胶颗粒的散射,图像的能见度严重降低,使得许多计算机视觉应用难以进一步感知和理解,如物体检测、识别和ADAS(高级驾驶员辅助系统)。因此,除雾,特别是单图像除雾,是非常有价值的,并且在过去十年中得到了广泛的研究[1]-[7]。现有的去雾方法可以大致分为两类,即基于先验的方法和基于学习的方法。第一类方法依赖于广泛接受的大气散射物理模型,Koschmieder定律[9]。在我们的情况下,该定律可以定义为,.这里,x是指像素的位置。

weixin_48426415的博客 1508

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

【模态综合和增强:弱监督:医学图像融合】

仅供自己参考

weixin_43690932的博客 1982

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

AIGC浅记,什么是GAN模型,它有什么优点和缺点,以及在人脸生成领域有哪些应用

GAN模型,即生成对抗网络(Generative Adversarial Networks),是一种深度学习模型,通过生成器和判别器之间的对抗训练来学习生成数据的分布。GAN模型在图像生成、风格迁移、超分辨率等领域展现出强大的能力,并逐渐被应用于其他数据类型如音频和文本的生成。

风信子的博客 3095

ASM-Net:可解释的美学评分及图像剪裁

2019-12-03 04:32:31 作者 | 涂逸 编辑 | 唐里 基于美学的图像裁剪(aesthetic image cropping)的目标是在一张图片中找到具有最高美学评价的子图。 在本篇论文中,我们提出了一个新颖的图像裁剪模型来解决这个问题。对于每张图片,我们使用一个全卷积网络来生成一个同时对照片构图(photo composition)和物体显著性(object sali...

喜欢打酱油的老鸟 1557

【计算摄影】计算机如何学会自动裁剪图片(自动构图)?

大家好,这是专栏《计算摄影》的第三篇文章,这一个专栏来自于计算机科学与摄影艺术的交叉学科。今天我们讨论的问题是图像的自动裁剪/自动构图问题。 ...

hacker_long的专栏 1801

【视频课】超8小时,5大模块,掌握基于GAN的图像增强应用(降噪色调映射去模糊超分辨修复)...

前言欢迎大家关注有三AI的视频课程系列,我们的视频课程系列共分为5层境界,内容和学习路线图如下:第1层:掌握学习算法必要的预备知识,包括Python编程,深度学习基础,数据使用,框架使用。第2层:掌握CV算法最底层的能力,包括模型设计基础,图像分类,模型分析。第3层:掌握CV算法最核心的方向,包括图像分割,目标检测,图像生成,目标跟踪。第4层:掌握CV算法最核心的应用,包括人脸图像,图像质量,视频...

hacker_long的专栏 964

基于GAN的火灾图像数据集增强目标检测

1.文章信息本次介绍的文章是韩国光云大学发表的一篇火灾图像数据集目标检测文章,题目为《Object Detection with Dataset Augmentation for Fire Images Based on GAN》。2.摘要目标检测是在图像中发现和分类目标的任务。现在已经提出了许多基于深度学习算法的对象检测模型。深度学习算法需要用丰富的图像和精确的注释来训练模型。然而,在火灾探测...

zuiyishihefang的博客 3464
上一篇: MNA-CNN: 如何在美学质量评估中储存照片原始信息
下一篇: 如何步入深度学习刷榜第一重境界
言有三
言有三 领域专家: 人工智能技术领域 领域专家: 人工智能技术领域
博客等级 码龄15年 3636粉丝 976原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

言有三

三人行必有AI

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值