深度卷积对抗神经网络 基础 第七部分 StyleGAN

【深度学习】StyleGAN 2018 论文,A Style-Based Generator Architecture for Generative Adversarial Networks 我们提出了一种替代的生成对抗网络生成器架构,借鉴了风格转移文献。这种新架构导致了高级属性(例如,在人脸上训练时的姿势和身份)与生成图像中的随机变化(例如,雀斑,头发)的自动学习无监督分离,并且它实现了直观的、特定尺度的合成控制。新的生成器在传统分布质量指标方面改进了现有技术水平,导致了明显更好的插值特性,并且还更好地解开了潜在的变化因素。为了量化插值质量和解缠度,我们提出了两种新的自动方法,适用于任何生成器架构。最后,我们引入了一个新的、高度多样化和高质量的人脸数据集。 阅读详情

深度卷积对抗神经网络 基础 第七部分 StyleGAN

深度卷积神经网络模型已经应用在非常多的领域,但是其总包含了很多潜在的问题,比如说训练速度过慢,生成器与判别器的进化程度不平衡等等。那么,随着各种方法和算法的普及和进化,其解决的方法也越来越多,那么styleGAN就是其中的一个非常有趣的模型,

2018 年 12 月,Nvidia 研究人员分发了一份预印本以及介绍 StyleGAN 的配套软件,这是一种用于生成无限数量(通常令人信服)的假人脸肖像的 GAN 。StyleGAN 能够在 Nvidia 的商用 GPU 处理器上运行。

发展现状

  • 稳定性 Stability 方面:longer training and better images
    • 通过Batch standard deviation 来加强diversity。
    • 通过加强1-Lipschitz continuity来加强收敛稳定性。
    • 通过将不同生成器生成的结果进行加权平均,移动平均的方式来进行。
  • 容量 Capacity 方面: larger models and higher resolution images
    • 更高的分辨率
    • 更加细节的图片
  • 多样性 Diversity: increasing variety in generated images

StyleGAN

Style在这里指的是特性化,包括早期的特征比如说脸型等等,以及后期的特征比如说头发的精细度等等。

传统的生成器一般如下所示,主要是输入一个噪声向量,模型通过这个输入来生成一些图片。

image-20230131193814915

但是相反地,对于Style-Based 的生成器,其将噪声信号输入后,需要先进入一个特征匹配神经网络,然后输出一个中间噪声向量,其指定了所有的特征,并且尽量地去除特征之间的耦合并输入到生成器中。

image-20230131194007127

渐进增长 Progressive Growing

通过卷积和反卷积的方式去增加和减少像素数量,通过这样的方式去定义多个生成器和鉴别器,这样渐进型的训练方式可以加强信息的稳定性。

image-20230131194153656

噪声匹配网络 Noise Mapping Network

噪声匹配网络会将初始网络的复杂纠缠特征转换输出为可靠的,可解耦的,存在对应关系的噪声向量。我其实暂时也不太理解为什么或者如何可以进行解耦的操作,但是通过一些全连接层FC便可以实现。

image-20230131200005747

自适应实例规范化 Adaptive Instance Normalization (AdaIN)

Adaptive Instance Normalization是一种将内容特征的均值和方差与样式特征的均值和方差对齐的归一化方法。

Instance Normalization normalizes the input to a single style specified by the affine parameters. Adaptive Instance Normaliation is an extension. In AdaIN, we receive a content input x and a style input y, and we simply align the channel-wise mean and variance of x to match those of y. Unlike Batch Normalization, Instance Normalization or Conditional Instance Normalization, AdaIN has no learnable affine parameters. Instead, it adaptively computes the affine parameters from the style input:

image-20230131231737254

其主要通过归一化方法来进行,其将噪声信息转化为特征信息并输入到模型中,并且其和batch normalization也不同,其主要对每一个实例进行正交归一化。个人理解中,其主要就是进行了输入图像数据和特征数据的对其工作。

image-20230131232625265

而越早的生成器决定一些比较大的特征,比如说脸型,头型。而越晚的生成器则主要生成一些细节的特征,比如说头发的疏密,毛孔的大小之类的。

特征混合 & 随机噪声 Style Mixing & Stochastic Noise

Style Mixing 指的是将多个随机噪声混合地输入到每个生成器中,然后通过渐进地放入不同噪声的方式去得到特征的混合,但是又不会太过突兀,而是保留了多方的特征,并生成相对可观的结果。

而当upsample的时候,加入随机噪声会增加生成图片的微小细节变化。

最后的模型结构

最后的模型结构如下图所示,具体的结构和训练步骤如下所示:

  1. 生成一个高维度随机噪声z,并准备好训练的图片集
  2. 噪声通过多个全连接层来进行特征的提取和识别,并输出解除纠缠特性的噪声w
  3. 将两个或者多个噪声输入到多层的生成器中去逐渐生成最后的高分辨率图片
  4. 通过卷积操作将生成好的图片逐渐地与训练的图片集进行比较,并给出每一层的反馈。
  5. 通过多次优化迭代,寻找到最好的神经网络卷积层参数,使得分数最高,或者损失最低。
image-20230131234515695

参考文献 Reference

1. StyleGAN and Advancements

adain: adaptive instance normalization

batch norm

instance norm

2. (Optional) Components of StyleGAN2

Open Lab

3. Instructions

Please note that this is an optional notebook that is meant to introduce more advanced concepts, if you’re up for a challenge. So, don’t worry if you don’t completely follow every step! We provide external resources for extra base knowledge required to grasp some components of the advanced material.

In this notebook, you’re going to learn about StyleGAN2, from the paper Analyzing and Improving the Image Quality of StyleGAN (Karras et al., 2019), and how it builds on StyleGAN. This is the V2 of StyleGAN, so be prepared for even more extraordinary outputs.

4. (Optional) The StyleGAN Paper

Amazed by StyleGAN’s capabilities? Take a look at the original paper! Note that it may take a few extra moments to load because of the high-resolution images.

A Style-Based Generator Architecture for Generative Adversarial Networks (Karras, Laine, and Aila, 2019): https://arxiv.org/abs/1812.04948

5. (Optional) StyleGAN Walkthrough and Beyond

Want another explanation of StyleGAN? This article provides a great walkthrough of StyleGAN and even discusses StyleGAN’s successor: StyleGAN2!

GAN — StyleGAN & StyleGAN2 (Hui, 2020): https://medium.com/@jonathan_hui/gan-stylegan-stylegan2-479bdf256299

6. Works Cited

All of the resources cited in Course 2 Week 3, in one place. You are encouraged to explore these papers/sites if they interest you! They are listed in the order they appear in the lessons.

From the videos:

  • Generative Adversarial Networks (Goodfellow et al., 2014): https://arxiv.org/abs/1406.2661
  • Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks (Radford, Metz, and Chintala, 2016): https://arxiv.org/abs/1511.06434
  • Coupled Generative Adversarial Networks (Liu and Tuzel, 2016): https://arxiv.org/abs/1606.07536
  • Progressive Growing of GANs for Improved Quality, Stability, and Variation (Karras, Aila, Laine, and Lehtinen, 2018): https://arxiv.org/abs/1710.10196
  • A Style-Based Generator Architecture for Generative Adversarial Networks (Karras, Laine, and Aila, 2019): https://arxiv.org/abs/1812.04948
  • The Unusual Effectiveness of Averaging in GAN Training (Yazici et al., 2019): https://arxiv.org/abs/1806.04498v2
  • Progressive Growing of GANs for Improved Quality, Stability, and Variation (Karras, Aila, Laine, and Lehtinen, 2018): https://arxiv.org/abs/1710.10196
  • StyleGAN - Official TensorFlow Implementation (Karras et al., 2019): https://github.com/NVlabs/stylegan
  • StyleGAN Faces Training (Branwen, 2019): https://www.gwern.net/images/gan/2019-03-16-stylegan-facestraining.mp4
  • Facebook AI Proposes Group Normalization Alternative to Batch Normalization (Peng, 2018): https://medium.com/syncedreview/facebook-ai-proposes-group-normalization-alternative-to-batch-normalization-fb0699bffae7
噪声图noisemap 用于实现贴图流动效果的噪声图noiseMap,用于为图片提供有区别的uv偏移 立即下载

相关推荐

CNN卷积神经网络总结

文章中,总结了CNN的大致流程,并对概念做出图示的讲解。

StyleGAN2代码PyTorch版逐行学习(上)

超长代码笔记

qq_43522986的博客 1万+

华为无线AP+AC(ensp)

VLAN 100--192.168.100.0/24为AP的管理IP地址VLAN10--192.168.10.0/24为无线用户获取的IP地址在DHCP Server(LSW3)上查看地址分配情况。

abcdlalal的博客 1万+

深度学习07-深度卷积生成对抗网络(DCGAN)

GAN(Generative Adversarial Network)是一种生成模型,由两个神经网络组成:生成器(Generator)和判别器(Discriminator)。GAN的基本思想是通过让生成器和判别器相互对抗来学习生成真实样本的能力。生成器的作用是将一个随机噪声向量作为输入,通过一系列的神经网络层逐渐将其转化为一个与真实样本相似的输出。生成器的目标是尽量使生成的样本被判别器误认为是真实样本,从而欺骗判别器。生成器的训练目标是最小化生成样本与真实样本之间的差异。

liaomin416100569的专栏 7105

MMDetection框架入门教程(完全版)

  网上MMDetection的教程看似有很多,但感觉都不成系统,看完一圈下来还是不知道MMDetection要怎么用。这里还是推荐直接跟着官方教程,结合源码学习MMDetection,相关链接汇总如下: 官方教程 - MMCV 官方教程 - MMDetection 官方教程 - 不得不知的 MMDetection 学习路线(个人经验版) 西安交大课件 - mmdetection教程(使用篇)   本文会介绍如何在MMDetection中从头开始搭建一套属于自己的算法。前几篇博客算是本人学习过...

Sual 10万+

大疆 DJI Mobile SDK实战指南——从零构建Android示例开发环境

本文提供了一份详尽的DJI Mobile SDK Android开发环境搭建实战指南。文章手把手教你从注册开发者账号、获取App Key,到配置Android Studio、下载官方示例代码,最终成功运行DJI官方Android示例程序,帮助开发者快速入门无人机应用开发,避开常见编译与依赖问题。

weixin_29188043的博客 275

gan处理自己的数据集_使用StyleGAN训练自己的数据集.md

1 数据准备执行StyleGAN的最大难点在于准备数据集,不像其他的GAN可以接受文件夹输入,它只能接收.tfrecords作为输入,它将每张图片不同分辨率存储为数组。因此,输入文件必须是完美正态分布的,通过特定的dataset_tools.py工具将图片转成.tfrecords,这会导致实际存储尺寸达到原图的19倍。注意:StyleGAN的数据集必须由相同的方式组成,$512\times 512...

weixin_39715538的博客 6869

verilog CORDIC对数运算

verilog CORDIC对数运算

m0_64355812的博客 1736

对抗神经网络之对抗卷积神经网络[2]

上一篇博文[1]简单介绍了对抗网络的理论和大概流程。其中所谓的对抗网络可以归结为unsupervised learning 或者 generative model。从无监督学习来进行feature representation,有k-means聚类算法,auto-encoders[2],以及09年的Deep belief networks等等。

一个想要改变世界的IT slave的专栏 1万+

用SOLIDWORKS从零画一个履带机器人,手把手教你搞定底盘和传动

本文详细介绍了如何使用SOLIDWORKS从零开始设计履带式机器人,重点讲解底盘结构优化和传动系统设计的关键步骤。通过七个阶段的实战指南,包括前期规划、底盘建模、驱动系统装配、履带生成、动态模拟等,帮助工程师和爱好者掌握履带机器人的核心设计技巧,提升地形适应能力和动力效率。

weixin_30872499的博客 633

SpringBoot与锐浪报表服务器深度整合实战指南

本文详细介绍了SpringBoot与锐浪报表服务器的深度整合实战指南,包括环境准备、Windows/Linux系统配置、核心功能实现代码解析及常见问题解决方案。通过具体案例和代码示例,帮助开发者高效完成报表系统的集成与部署,提升企业级应用的报表处理能力。

weixin_29238147的博客 370

Python深度学习:从入门到实战

亲爱的读者,欢迎您翻开这本书。我们即将探索的,是深度学习的宇宙——一个由数据、算法与算力构筑的奇妙世界。它既是严谨的科学,也是创造的艺术,更是一条通往未来智慧的修行之路。本书将带您从最基础的数学原理出发,亲手搭建神经网络,驾驭Transformer等前沿模型,最终将智慧转化为现实世界的价值。请放下畏惧,保持好奇。这不仅是一次知识的学习,更是一场思维的远行。来,随我一起,开启这趟非凡的旅程吧。

weixin_45747731的博客 450

Matlab PolySpace 静态分析实战:从零搭建嵌入式代码安全防线

本文详细介绍了如何使用Matlab PolySpace进行嵌入式代码静态分析,从环境搭建到实战配置,帮助开发者提前发现内存溢出、未初始化变量等潜在缺陷。通过案例分享和进阶技巧,展示如何提升代码安全性和可靠性,特别适合汽车ECU、医疗设备等安全关键系统开发。

weixin_33701617的博客 606

DCGAN - 深度卷积生成对抗网络:基于卷积神经网络的GAN

深度卷积生成对抗网络(DCGAN,Deep Convolutional Generative Adversarial Network)是生成对抗网络(GAN)的一种扩展,它通过使用卷积神经网络(CNN)来实现生成器和判别器的构建。与标准的GAN相比,DCGAN通过引入卷积层来改善图像生成质量,使得生成器能够生成更清晰、更高分辨率的图像。DCGAN提出了一种通过卷积结构来提高图像生成效果的策略,并在多个领域,包括图像生成、风格迁移、图像修复等任务中,取得了显著的成果。本文将深入探讨DCGAN的工作原理、架构、

池央的博客 3673

Calibre电子书阅读器个性化样式定制指南

本文详细介绍了如何通过Calibre电子书阅读器的用户样式表功能进行深度个性化样式定制。从修改全局字体、行距、背景配色(包括深色/浅色模式)到美化代码块、引用等特殊元素,本指南提供了完整的CSS代码示例与实战技巧,帮助用户打造专属的舒适阅读环境,显著提升电子书阅读体验。

vv45678的博客 922

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

深度卷积对抗神经网络 基础 第二部分 DC-GANs

DC-GANs (DC-GANs Deep convolutional GAN)是基于GANs的一种专门对图片生成的一种模型,其通过卷积操作来进行图片的一些基本操作来实现模型的功能。

Delay_coder的博客 1262

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

styleGAN&扩散模型相关参考文献

styleGAN&扩散模型相关参考文献

zjn1174962912的博客 674

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

深度卷积对抗神经网络 进阶 第一部分 GANs 在数据增强和隐私领域的应用 GANs for Data Augmentation and Privacy

深度卷积对抗神经网络 进阶 第一部分 GANs 在数据增强和隐私领域的应用 GauGans

Delay_coder的博客 887

深度卷积对抗神经网络 基础 第五部分 Inception-v3 architecture GANs

深度卷积对抗神经网络 基础 第五部分 Inception-v3 architecture GANs

Delay_coder的博客 960

深度卷积对抗神经网络 基础 第三部分 (WGAN-GP)

比如说,**模式奔溃**,指的是生成器的学习效率远高于辨别器的时候,那么学习一段时间过后,辨别器便无法再继续提供有用的损失信息,以至于生成器无法得到参考而塌陷到一个局部最小点中去。而**梯度消失**指的是当损失趋于无限大或者无限小时,损失函数的值变化基本可以视为忽略,那么梯度就会消失,进而停止学习或者学习效率基本为零。

Delay_coder的博客 1765
上一篇: 深度卷积对抗神经网络 基础 第六部分 缺点和偏见 GANs Disadvantages and Bias
下一篇: 深度卷积对抗神经网络 进阶 第一部分 GANs 在数据增强和隐私领域的应用 GANs for Data Augmentation and Privacy
Volavion
博客等级 码龄9年 3788粉丝 36原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Volavion

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值