深度卷积对抗神经网络 进阶 第二部分 GANs Pix2Pix PatchGAN 模型

【PatchGAN】Image-to-Image Translation with Conditional Adversarial Networks PatchGAN论文重点记录 阅读详情

深度卷积对抗神经网络 进阶 第二部分 GANs Pix2Pix PatchGAN 模型

Image to image translation 是非常普遍的GAN的应用场景,最近我们也经常看到AI会做出一些比较有趣的结果。比如说黑白视频的填色等等,这都是对信息的一种补充和添加。而近些年更加有趣的事情是可以将非常复杂的模糊视频进行一些高清还原,其运用了不仅仅是当前帧的图像,还利用了视频时序的特点将视频前后帧的图像进行了分析和信息提取,使得模型看起来添加了视频的一些信息内容;但是其其实是由于某些信息是隐藏在其他信息帧中的。

pix2pix image 模型

生成模型

传统的conditional GANs的原理是通过一个噪声矩阵以及一个类向量来告诉生成器需要生成的结果的特征。这样可以生成不同类型的结果,但是噪声向量是不可控的,也就意味着我们无法知道某个噪声向量具体会生成何种结果。

而反过来,Pix2pix 生成器通过实际的图片输入来代替噪声矩阵和类向量来生成不同类型的结果。具体的差别就是,通过像素输入,生成器会了解输入的模式,并根据他的理解生成它理解的输出。那么我们的输入就从一维的向量转变为二维的图片,输入信息变多,模型也就更加地准确地能够了解到用户的信息,生成的结果也就更加具有指向性。

在个人理解中,conditional GANs做了噪声空间到图片仿射空间到实际图片空间的映射;而pix2pix直接略过了噪声向量到潜在的图片仿射空间的映射,而直接将仿射空间的图片元素映射到实际输出空间,更加直接,增加了控制的自由度,能够精确地控制生成的结果的特性。而随机特性包含在输入的图片中,并没有因此而丢失掉随机性。

辨别器 Pix2Pix Discriminator: PatchGAN

辨别器的主要作用是通过将不同的区域分段来进行识别,并不是对单个像素进行简单的对比,这也就叫做所谓的PatchGAN。其优点便是能够对区域进行整体分析,而不是仅仅对像素进行比较。我们都应该能得出,像素比较的颗粒度较为细,在进行损失函数或者差异分析时容易出现对差别太过敏感的问题。

Pix2Pix 模型: U-Net

U-Net是Pix2PixGAN的一种结构,其类似于Encoder和Decoder的方式,前半部分绿色的encoder通过逐层将特征进行提取,将对应的主要特征存储到仿射空间 laten space中。而Decoder则是将仿射空间中的特征向量再解码到实际的图像空间,得到我们所需要的图片。而每一层所对应的encoder和decoder则通过Skip connection进行数据的交流。这样可以使得数据不再顺序传输和处理,而形成一些简单的网,使得在编码过程中所丢失的图像信息得到保存。

Pix2Pix 模型:损失函数 Pixel Distance Loss Term

损失函数取经典的BCEloss作为对抗神经网络的损失函数,并且取真实图像与生成图像的差距来作为额外的像素损失。我们的目标是让生成的图片和实际的图片靠近,使得其能够生成可以媲美真实图片的假图片。而为什么用像素距离,主要是输出图片和生成的图片都是经过标记的,因此何种初始图片生成目标图片是标记好的。因此计算像素距离并加入一个\lambda便可以缓缓地加入额外的模型训练的监督。

Pix2Pix 整体模型

U-Net 模型用于作为生成器生成可用图片

PatchGAN 辨别器用于将实际输入与生成或者真实图片进行识别比较,得到一个分类矩阵(Classification Matrix),并通过分类矩阵与零矩阵以及一矩阵进行比较而得到一个辨别器的损失函数。如果是生成的图片,使分类矩阵与全零矩阵进行比较;如果是实际图片,使得其与全一矩阵进行比较;这样就能够判断出辨别器的分辨准确性。

U-net损失函数主要是比较分类矩阵与真实矩阵的差距以及加入像素距离的方式来实现。

总结

通过Pix2Pix Patch GANs可以实现图像的转化,而图像的转化会帮助艺术创作者创造更加有趣的艺术作品,这样可以解放艺术创作者的双手,让他们去做更加有意义和创作的事情,而不是用画笔绘画等等。其通过U-Net和PatchGANs分辨器来实现了图片数据的对应。这个模型可以做到非常真实的结果输出,但是其缺点也是显而易见,其需要标记好的图片对应来训练网络,而不能直接输入图片。这就使得其在某些研究领域的应用有一定的局限性。而CycleGANs便可以解决数据标注的问题。

参考文献 Reference

(Optional) The Pix2Pix Paper

Want to know more about image-to-image translation and the research behind the components of Pix2Pix? Take a look at the original paper!

Image-to-Image Translation with Conditional Adversarial Networks (Isola, Zhu, Zhou, and Efros, 2018): https://arxiv.org/abs/1611.07004

(Optional Notebook) Pix2PixHD

https://colab.research.google.com/github/https-deeplearning-ai/GANs-Public/blob/master/C3W2_Pix2PixHD_(Optional).ipynb

Please note that this is an optional notebook, meant to introduce more advanced concepts if you're up for a challenge, so don't worry if you don't completely follow!

In this notebook, you will learn about Pix2PixHD, which synthesizes high-resolution images from semantic label maps. Proposed in High-Resolution Image Synthesis and Semantic Manipulation with Conditional GANs (Wang et al. 2018), Pix2PixHD improves upon Pix2Pix via multiscale architecture, improved adversarial loss, and instance maps.

(Optional Notebook) Super-resolution GAN (SRGAN)

https://colab.research.google.com/github/https-deeplearning-ai/GANs-Public/blob/master/C3W2_SRGAN_(Optional).ipynb

Please note that this is an optional notebook meant to introduce more advanced concepts. If you’re up for a challenge, take a look and don’t worry if you can’t follow everything. There is no code to implement—only some cool code for you to learn and run!

In this notebook, you will learn about Super-Resolution GAN (SRGAN), a GAN that enhances the resolution of images by 4x, proposed in Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network (Ledig et al. 2017). You will also implement the architecture and training in full and be able to train it on the CIFAR dataset.

(Optional) Lecture Notes W2

You can download this week's lecture notes from this post in our Discourse community.

(Optional) More Work Using PatchGAN

Want to see how a GAN can fill-in cropped-out portions of an image? Read about how PGGAN does that by using PatchGAN!

Patch-Based Image Inpainting with Generative Adversarial Networks (Demir and Unal, 2018): https://arxiv.org/abs/1803.07422

(Optional Notebook) GauGAN

https://colab.research.google.com/github/https-deeplearning-ai/GANs-Public/blob/master/C3W2_GauGAN_(Optional).ipynb

Please note that this is an optional notebook meant to introduce more advanced concepts. If you’re up for a challenge, take a look and don’t worry if you can’t follow everything. There is no code to implement—only some cool code for you to learn and run!

In this notebook, you will learn about GauGAN, which synthesizes high-resolution images from semantic label maps, which you implement and train. GauGAN is based around a special denormalization technique proposed in Semantic Image Synthesis with Spatially-Adaptive Normalization (Park et al. 2019)

图解pix2pix(PatchGAN) ,pix2pixHD,vid2vid,SPADE 网络结构 优化object: This motivates restricting the PatchGAN discriminator to only model high-frequency structure, relying on an L1 term to force low-frequency correctness . In order to model high-frequencies, it is sufficient to restrict our attent... 阅读详情

相关推荐

基于PatchGAN的生成对抗图像修复

1.介绍 对高分辨率图像的去模糊、去噪、修复等,对于现实的纹理合成的一个关键的问题是:如何保证真实性或者是自然性?,我们知道利用GAN的生成能力可以生成较为真实的图片,但是在面对高分辨的图片时,在保证图像的全局结构的一致性的情况下,需要更加关注图像的细节,而传统GAN的鉴别器通常只能够关注到全局的信息。 本文的主要改进点在于对鉴别器网络进行改进,整个鉴别器网络包括global GAN和 patch GAN.对于global GAN我们已经很熟悉了,主要就是鉴别器网络的输入是一张图片,而输出是一个标量,用来进

qq_37937847的博客 1万+

深度学习框架-PyTorch实战

购买课程后,添加小助手微信(微信号:csdnxy68)回复【唐宇迪】进入学习群,获取唐宇迪老师答疑深度学习框架-PyTorch实战课程旨在帮助同学们快速掌握PyTorch框架核心模块使用方法与项目应用实例,让同学们熟练使用PyTorch框架进行项目开发。课程内容全部以实战为导向,基于当下计算机视觉与自然语言处理中经典项目进行实例讲解,通过Debug模式详解项目中每一行代码的作用与效果,整体风格通俗易懂,提供全部课程所属课件。

PixelDistance:使用多通道显微镜图像,计算两个标记之间的最小距离。在这种情况下,通过测量肿瘤阳性像素与淋巴管标记物(LYVE-1)阳性像素之间的最小距离,来计算浸润性肿瘤细胞在淋巴结中的分布

像素距离 使用多通道显微镜图像,计算两个标记之间的最小距离。在这种情况下,它通过测量肿瘤阳性像素与淋巴管标记(LYVE-1)阳性像素之间的最小距离,来计算浸润性肿瘤细胞在淋巴结中的分布。 main.py运行pixel_distance.py。 pixel_distance.py实际上执行肿瘤和lyve-1像素之间的最小距离的测量,并输出每个图像的结果。 PixDistStats.py执行统计并在所有按样本组分隔的数据上绘制图表。但是,这还不够,因为它没有分解成生物复制品,也没有进行标准化。请改用PixDistStats2.py + PixDistStats3.py。 PixDistStats2.py将数据分为生物学重复,而不是汇总每个样本组的所有数据,并进行绘图实验。 PixDistStats3.py从PixDistStats2获取数据,将其归一化为每只动物的总像素,进行统计比较

Patch-GAN (Discriminative Network) 的Pytorch实现

Patch-GAN (Discriminative Network) Patch-GAN可以在对抗学习中被用作discriminator,参考Markovian Generative Adversarial Networks结构中的Discriminative network部分(图1)进行Pytorch代码实现。网络结构的具体细节可参考下述文献: [1] Li, C. , and M. Wand . “Precomputed Real-Time Texture Synthesis with Marko

kouwang9779的博客 4288

山东大学机器学习(实验一内容)——线性回归

1. 描述 第一个练习将为你提供线性回归练习。这些练习已经用Matlab进行了广泛的测试,但它们也应该在Octave中工作,它被称为“免费版的Matlab”。如果你使用的是Octave,那就是 一定要安装Image包(可在Windows中作为选项使用)安装程序,可从Octave-Forge获得Linux。 2.线性回归 回想一下,线性回归模型是 hθ(x)=θTx=∑j=0nθjxj h_{\th...

HachiLin的博客 4108

学习笔记:物理信息神经网络(PINN)

PINN 的强大在于它打破了传统数值方法的限制,将神经网络的非线性拟合能力与物理方程的严谨性结合起来。它在处理高维、数据稀缺、复杂物理约束的场景下尤其出色。当然,PINN 也有收敛慢、梯度消失等挑战,比如,复杂 PDE 可能导致梯度传播困难,收敛慢(梯度消失)、于具有快速变化特征的系统,如冲击波,标准 PINN 可能精度不足,需要改进策略,比如自适应采样或多尺度特征提取。但随着研究深入,这些问题正在不断被解决。物理或化学方程为什么往往是偏微分方程?什么是物理信息神经网络(PINN)?x_%7Bi%7D。

qq_52635735的博客 1万+

【pytorch】实现条件生成对抗网络 CGAN

生成器网络为Unet 判别器为patchGAN 代码示例: class DoubleConv(nn.Module): def __init__(self, in_channels, out_channels): super(DoubleConv, self).__init__() self.conv = nn.Sequential( nn.Conv2d(in_channels, out_channels, 3, 1, 1, b.

flyconley的博客 1996

从Protocol到硬件控制:揭秘高通UEFI中ABL与XBL的协作机制

本文深入解析了高通UEFI架构中ABL与XBL的协作机制,重点探讨了Protocol通信在硬件控制中的关键作用。通过对比传统GPIO控制方式,揭示了Protocol架构在安全性、可维护性和灵活性方面的优势,并提供了关机充电场景的实战案例分析及调试技巧。

weixin_29185199的博客 431

PatchGAN框架源码

在看一篇大面积遮挡人脸修复的论文(Identity Preserving Face Completion for Large Ocular Region Occlusion)时,判别器阶段使用了PatchGAN框架,发现这个框架还很有趣,说实话搭建得真好。 查了下,有人已经分享出源码了,这里给一个链接https://github.com/ChengBinJin/V-GAN-tensorflow ...

Miao的博客 4188

扫地机器人自动回充技术大揭秘:红外、蓝牙、雷达哪种更适合你家?

本文深入解析扫地机器人自动回充技术的三种主流方案:红外、蓝牙和雷达/LiDAR,详细比较它们的原理、优缺点及适用场景。红外技术成本低但易受干扰,蓝牙穿透性好但精度随距离降低,雷达精度最高适合复杂环境。根据户型大小和家居环境,提供选购建议,帮助用户选择最适合自己家庭的自动回充方案。

weixin_29070721的博客 504

linux上使用tun/tap设备模拟一个虚拟网卡,并将该虚拟网卡连接到新创建的网桥上

tun/tap设备是操作系统内核中的虚拟网络设备,是用软件模拟的网络设备,提供与硬件网络设备完全相同的功能。主要用于用户空间和内核空间传递报文。tun/tap对于硬件网络设备而言,一端连接的是物理网络,一端连接的是网络协议栈。对于tun/tap设备而言,一端连接的是应用程序(通过 字符设备文件),一端连接的是网络协议栈。

糖果墙的博客 6415

【转载】一文看懂PatchGAN

最近看到PatchGAN很是好奇原理是什么,发现网上很多介绍的并不清楚.故墙外墙内来回几次,大概是清楚了. PatchGAN PatchGAN其实指的是GAN的判别器,将判别器换成了全卷积网络.这么说并不严谨,PatchGAN和普通GAN判别器是有区别的,普通的GAN判别器是将输入映射成一个实数,即输入样本为真样本的概率.PatchGAN将输入映射为NxN的patch(矩阵)X,Xij的值代表每个patch为真样本的概率,将Xij​求均值,即为判别器最终输出,X其实就是卷积层输出的特征图.从这个特征图可以

菜鸟起飞 6920

一张微服务地图的十年演进:Spring Cloud 核心、扩展与工具组件的定位、原理与选型

本文把 Spring Cloud 当作一张微服务地图来读:先说明它是由 Commons 抽象层、实现层和 Boot 装配层构成的发行版,再沿一次请求梳理注册发现、负载均衡、声明式调用、容错限流、网关、配置、追踪与总线七类核心组件的原理与换代,并扩展到云平台、服务网格、消息流、批处理、安全与周边生态。仿真实测:默认参数下实例宕机平均 242 秒才被感知,优雅下线降到 47 秒;一个慢实例让轮询的 P99 达 49 秒,P2C 仅 203 毫秒。最后给出退场替代表、技术栈组合、升级路线和决策树。

曾经“等你生日那天”都遥远得像未来,如今却可欢愉的挥手说“下个十年见” 169万+

对于PatchGAN的理解

atchGAN输出一个矩阵,N*N矩阵中每个点(true or false)即代表原始图像中的一块小区域(这也就是patch含义)评价值,最终结果求平均,考虑到图像的不同部分的影响,就像考虑了多人的建议然后给出决定,相当于是众人投票的结果。

番茄炒蛋三分糖 4379

UG二次开发GRIP刻字

UG二次开发GRIP刻字

qq285503851的博客 1138

【华为OD技术面试真题 - 技术面】- 测试面试题(1)

专栏:华为OD面试真题精选 目录: 2024华为OD面试手撕代码真题目录以及八股文真题目录黑盒测试:白盒测试:基本功能验证:边界条件测试:空白输入测试:特殊字符和格式测试:响应时间测试:压力测试:针对在不同系统和设备上测试聊天窗口功能,以及网络正常的前置条件,我们可以增加以下测试用例:系统和设备:PC端测试:移动端测试:功能验证:前置条件:网络性能影响测试:Postman:SoapUI:JMeter:Rest-Assured:Tricentis Tosca:ReadyAPI:CI/CD工具集成:测试管理工

算法大师! 3693

pix2pixHD

pix2pixHD

qq_43733107的博客 2219

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

深度图像修复的回顾和改进:使用生成对抗网络基于Patch的图像修复

点击上方“AI公园”,关注公众号,选择加“星标“或“置顶”作者:Chu-Tak Li编译:ronghuaiyang导读相比于之前,在图像修复网络结构中增加了残差块,并对每个局部区域都进行了...

AI公园 4620

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

GAN相关 : pix2pix模型

GAN相关 : pix2pix模型 Image-to-Image Translation with Conditional Adversarial Networks Phillip Isola et al 在图像处理和视觉相关的领域里,有一类问题可以归结为map pixels to pixels,也就是图像转换,image to image translation的问题,比如黑白图像转为...

VisualCortex 6203

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

pix2pix:使用条件对抗网络进行图像到图像的转换

pix2pix模型本质上是cGAN的一种特殊实现。一种Image-to-Image的实现,是一种基于GAN的图像到图像翻译架构,生成部分G用U-Net代替Encoder-Decoder。文章的主要目的是开发一个通用框架来解决图像-图像转换(从像素预测像素)的所有问题: 非结构化: 图像到图像的转换问题通常被表述为每像素分类或回归。这些公式将输出空间视为“非结构化”,因为每个输出像素被认为有条件地独立于给定输入图像的所有其他像素。结构化: 结构化损失考虑了输出的联合配置,而不仅仅是单个像素的值。这意味着损失函

weixin_47748259的博客 2566

2021-09-22 转载的@Phoenixtree_DongZhao这位老哥的文章,觉得很好用,收藏了

那些比较重要的 Image Inpainting 文章 PhoenixtreeDongZhao2020-02-27 00:14:35 订阅专栏 ​inpainting [FROM]https://python.ctolib.com/geekyutao-Image-Inpainting.html</a></p> Image Inpainting This repository is a paper list of image inpainting in...

weixin_42414328的博客 350

PatchGAN的理解

概念 马尔可夫判别器(PatchGAN)是判别模型的一种 基于CNN的分类模型有很多种,很多网络都是在最后引入了一个全连接层,然后将判别的结果输出(输出结点)。 马尔可夫判别器则是不一样,直观来看,它完全由卷积层构成,最后输出的是一个n*n的矩阵,最后取输出矩阵的均值作为True/False的输出。 事实上,输出矩阵中的每一个输出,代表着原图中一个感受野,对应了原图的一片(patch),而具有这...

今晚打老虎 5127

马尔可夫判别器(PatchGAN)

马尔可夫判别器(PatchGAN) 马尔可夫判别器的区别: 1.基于CNN的分类模型有很多种,很多网络都是在最后引入了一个全连接层,然后将判别的结果输出。 2.马尔可夫判别器是由卷积层构成,最后输出一个n*n的矩阵,最后取输出矩阵的均值作为True/False的输出。 3.事实上,输出矩阵中的每个数据代表着原图中一个感受野,对应了原图的一片(patch),这样的GAN称PatchGAN. 在图像风格迁移领域中——风格迁移分为两部分 第一:内容部分是指生成图像和原图像在内容(语义)上的相似性 第二:纹理部分是

butiful1的博客 9461

(四)pix2pixGAN论文笔记与实战

一、论文要点 1.图像建模的结构化损失         图像到图像的翻译问题通常是根据像素分类或回归来解决的。这些公式将输出空间视为“非结构化”,即在给定输入图像的情况下,每个输出像素被视为与所有其他像素有条件地独立。而cGANs( conditional-GAN)的不同之处在于学习结构化损失,并且理论上可以惩罚输出和目标之间的任何可能结构。 2.损失函数 一般的 cGANs 的目标函数如下: xxx是条件,yyy=G(x,zx

SCU-JJkinging的博客 2701

mindspore框架下Pix2Pix模型实现真实图到线稿图的转换|(二)Pix2Pix模型构建

U-Net分为两个部分,其中左侧是由卷积和降采样操作组成的压缩路径,右侧是由卷积和上采样组成的扩张路径。扩张的每个网络块的输入由上一层上采样的特征和压缩路径部分的特征拼接而成。网络模型整体是一个U形的结构,因此被叫做U-Net。原始cGAN的输入是条件x和噪声z两种信息,这里的生成器只使用了条件信息,因此不能生成多样性的结果。判别器使用的PatchGAN结构,可看做卷积。生成的矩阵中的每个点代表原图的一小块区域(patch)。通过矩阵中的各个值来判断原图中对应每个Patch的真假。

人工智能视觉分析算法学习实践和经验分享。 1402

Pix2Pix

1. 概述 很多的图像处理问题可以转换成图像到图像(Image-to-Image)的转换,即将一个输入图像翻译成另外一个对应的图像。通常直接学习这种转换,需要事先定义好损失函数,然而对于不同的转换任务,需要设计的损失函数也不尽相同。得益于生成对抗网络GAN的提出,尤其是条件生成对抗网络cGAN[1](conditional GAN),可以直接学习这种映射关系,同时不需要人工定义该映射的损失函数,可以通过自动的学习得到。基于cGAN的基本原理,Pix2Pix[2]提出了一种图像转图像的通用框架。Pix2Pix

null的专栏 1441
上一篇: 深度卷积对抗神经网络 进阶 第一部分 GANs 在数据增强和隐私领域的应用 GANs for Data Augmentation and Privacy
下一篇: 深度卷积对抗神经网络 进阶 第三部分 GANs Unpaired Translation with Cycle GAN 模型
Volavion
博客等级 码龄9年 3788粉丝 36原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Volavion

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值