但DDPM不一样，它通过“拆楼”的方式重新定义了一个自回归方向，而对于所有的像素来说则都是平权的、无偏的，所以减少了Inductive Bias的影响，从而提升了效果。正所谓“饭要一口一口地吃”，楼也要一步一步地建，DDPM做生成模型的过程，其实跟上述“拆楼-建楼”的类比是完全一致的，它也是先反过来构建一个从数据样本渐变到随机噪声的过程，然后再考虑其逆变换，通过反复执行逆变换来完成数据样本的生成，所以本文前面才说DDPM这种做法其实应该更准确地称为“渐变模型”而不是“扩散模型”。也简单介绍过扩散模型。

前言：GitHub 上又火了个项目，蛮有趣的：可以让你在 ZOOM 、腾讯会议等等软件中“换脸”成别人。自己 fork 到本地，调了一调。作者封装的已经相当好了，当然了，像我这种 CRUD 程序员 + AI 小白 肯定是要调一天的，不调一天是不可能的，也就调调就崩溃+一顿改环境这样子。咱们聊聊这个程序的原理与应用时的注意事项。今天上午开了个班会，用的腾讯会议，变身哈利波特、C罗、施瓦辛格完全没问题…项目地址：https://github.com/alievk/avatarify作者是个..

3D-GAN是使用生成对抗网络学习2D图像到3D模型的映射，生成网络负责生成3D模型，对抗网络判断这些模型是真是假。3D-GAN：http://3dgan.csail.mit.edu/3D-GAN paper：https://arxiv.org/pdf/1610.07584v2.pdf3D-GAN代码：https://github.com/zck119/3dgan-re

今天组会读了一下deepmind的PixelCNN(nips的那篇)，不是很明白到底为什么follow的work这么多（而且pixel rnn还拿了best paper award。。），感觉pixel by pixel生成是一种非常反直觉的生成方式。而且是规定了从上往下从左往右的顺序。这种生成方式的insight在哪里？（个人理解是为了引出wavenet？因为对语言序列来说生成是有顺序的

在GAN的相关研究如火如荼甚至可以说是泛滥的今天，一篇新鲜出炉的arXiv论文《Wasserstein GAN》却在Reddit的Machine Learning频道火了，连Goodfellow都在帖子里和大家热烈讨论，这篇论文究竟有什么了不得的地方呢？ 要知道自从2014年Ian Goodfellow提出以来，GAN就存在着训练困难、生成器和判别器的loss无法指示训练进程、生成

我们来研究一下生成式对抗网络 GAN，并且用 TensorFlow 代码实现。自从 Ian Goodfellow 在 14 年发表了 论文 Generative Adversarial Nets 以来，生成式对抗网络 GAN 广受关注，加上学界大牛 Yann Lecun 在 Quora 答题时曾说，他最激动的深度学习进展是生成式对抗网络，使得 GAN 成为近年来在机器学习领域的

近年来，基于数据而习得“特征”的深度学习技术受到狂热追捧，而其中GAN模型训练方法更加具有激进意味：它生成数据本身。GAN是“生成对抗网络”（Generative Adversarial Networks）的简称，由2014年还在蒙特利尔读博士的Ian Goodfellow引入深度学习领域。2016年，GAN热潮席卷AI领域顶级会议，从ICLR到NIPS，大量高质量论文被发表和探讨。Yan

【前言】     本文首先介绍生成式模型，然后着重梳理生成式模型（Generative Models）中生成对抗网络（Generative Adversarial Network）的研究与发展。作者按照GAN主干论文、GAN应用性论文、GAN相关论文分类整理了45篇近两年的论文，着重梳理了主干论文之间的联系与区别，揭示生成式对抗网络的研究脉络。 本文涉及的论文有：Goodfello

我们在这里介绍「基于能量的生成对抗网络（Energy-based Generative Adversarial Network，简称 EBGAN）」模型，该网络将 GAN 框架中的鉴别器（discriminator）视为与数据流形（data manifold）和其它所有更高能量的区域的低能量区域相关联的能量函数（energy function）。和概率 GAN 类似，需要训练一个生成器（gener

雷锋网按：本文作者郑华滨，原载于知乎。雷锋网已获转载授权。在GAN的相关研究如火如荼甚至可以说是泛滥的今天，一篇新鲜出炉的arXiv论文《Wassertein GAN》却在Reddit的Machine Learning频道火了，连Goodfellow都在帖子里和大家热烈讨论，这篇论文究竟有什么了不得的地方呢？ 要知道自从2014年Ian Goodfellow提出以来

成模型（GenerativeModel）是一种可以通过学习训练样本来产生更多类似样本的模型。在所有生成模型当中，最具潜力的是生成对抗网络（Generative Adversarial Networks, GANs）。GANs 是非监督机器学习的一种，它的运作方式可被看做是两个神经网络相互竞争的零和游戏（zero-sum game）。2014年，Ian Goodfello

GAN（Generative Adversarial Nets）研究进展Model1、Unsupervised learning首先我们从generative model说起。generattive model的目的是找到一个函数可以最大的近似数据的真实分布。如果我们用 f(X;

男：哎，你看我给你拍的好不好？女：这是什么鬼，你不能学学XXX的构图吗？男：哦……男：这次你看我拍的行不行？女：你看看你的后期，再看看YYY的后期吧，呵呵男：哦……男：这次好点了吧？女：呵呵，我看你这辈子是学不会摄影了……男：这次呢？女：嗯，我拿去当头像了上面这段对话讲述了一位“男朋友摄影师”的

自从Goodfellow2014年提出这个想法之后，生成对抗网络（GAN）就成了深度学习领域内最火的一个概念，包括LeCun在内的许多学者都认为，GAN的出现将会大大推进AI向无监督学习发展的进程。于是，研究GAN就成了学术圈里的一股风潮，几乎每周，都有关于GAN的全新论文发表。而学者们不仅热衷于研究GAN，还热衷于给自己研究的GAN起名，比如什么3D-GAN、BEGAN、iGAN、S⊃2

雷锋网AI科技评论按：ICLR 2017 于4月24-26日在法国土伦举行，雷锋网AI科技评论的编辑们也将从法国带来一线报道。近期，雷锋网也围绕会议议程及论文介绍展开一系列的覆盖和专题报道，敬请期待。图像超分辨率 (Super-Resolution, SR) 是一个不确定的逆向问题，相同的一张下采样（Downsampled）图像，进过图像超分辨率处理后，得出与原图相似的高分辨率图像却往往是

这次的内容主要是想梳理 GAN 从 NIPS 2014 被提出，到 2017年5月，都有哪些重要的从原理和方法上的重要研究。一共覆盖了25篇重要论文（论文列表见本文最下方）。引言：GAN的惊艳应用首先来看看 GAN 现在能做到哪些惊艳的事呢？GAN 可以被用来学习生成各种各样的字体——也就是说，以后字迹辨认这种侦查手段很可能就不靠谱啦！这个工

GAN是一种典型的概率生成模型，其核心思想是：找出给定观测数据内部的统计规律，并且能够基于所得到的概率分布模型，产生全新的，与观测数据类似的数据。概率生成模型可以用于自然图像的生成。假设给定1000万张图片之后，生成模型可以自动学习到其内部分布，能够解释给定的训练图片，并同时生成新的图片。与庞大的真实数据相比，概率生成模型的参数个数要远远小于数据的数量。因此，在训练过程

【新智元导读】中科院自动化所（CASIA），中科院大学和南昌大学的一项合作研究，提出了双路径 GAN（TP-GAN），通过单一侧面照片合成正面人脸图像，取得了当前最好的结果。研究人员提出了一个像人类一样能够考虑整体和局部信息的 GAN 结构，合成的图像非常逼真且很好地保留了身份特征，并且可以处理大量不同姿势的照片。研究人员指出，这些合成的图像有可能用于人脸分析的任务。

刚做完实验，来答一答自然语言处理方面GAN的应用。直接把GAN应用到NLP领域（主要是生成序列），有两方面的问题：1. GAN最开始是设计用于生成连续数据，但是自然语言处理中我们要用来生成离散tokens的序列。因为生成器(Generator，简称G)需要利用从判别器(Discriminator，简称D)得到的梯度进行训练，而G和D都需要完全可微，碰到有离散变量的时候就会有问题，只用BP不

前言本文会从头了解生成对抗式网络的一些内容，从生成式模型开始说起，到GAN的基本原理，InfoGAN，AC-GAN的基本科普，如果有任何有错误的地方，请随时喷，我 刚开始研究GAN这块的内容，希望和大家一起学习这块内容。生成式模型何为生成式模型？在很多machine learning的教程或者公开课上，通常会把machine learning的算法分为两类： 生成式模型、判

导读：本文是基于谷歌大脑（Google Brain）发表在 arXiv 的最新论文《BEGAN：边界平衡生成对抗网络》实现的。该工作针对GAN 面临的一些难题，例如如何衡量收敛，如何控制分布多样性以及如何维持鉴别器和生成器之间的平衡等问题，提出了改善。作者使用了很简单的网络结构以及标准的训练过程，在人脸生成任务中取得了优异的视觉效果，达到了目前最先进水平。　　论文摘要　　作者提出了一种新的

生成对抗网络（GANs）是一种能“教会”计算机胜任人类工作的有趣方法。一个好的对手能让你成长更快，而GANs背后就是“从竞争中学习”的思路。GANs最先是由蒙特利尔大学的Ian Goodfellow提出，已在图像生成和风格迁移等领域获得了巨大的成功，充分展示了“无监督学习”技术的潜力。GANs是如何工作的？△GAN结构示意图一个GAN中包含两个相互竞争的神经

今天组会读了一下deepmind的PixelCNN(nips的那篇)，不是很明白到底为什么follow的work这么多（而且pixel rnn还拿了best paper award。。），感觉pixel by pixel生成是一种非常反直觉的生成方式。而且是规定了从上往下从左往右的顺序。这种生成方式的insight在哪里？（个人理解是为了引出wavenet？因为对语言序列来说生成是有顺序的

Generative Face Completion CVPR 2017 https://arxiv.org/abs/1704.05838Code: https://github.com/Yijunmaverick/GenerativeFaceCompletion首先来直观的认识一下人脸修复是什么？ 输入一个有缺失的人脸图像，得到完整的人脸图像 本文算法训练流程

（本文讨论仅限个人观点，因为我见解有限，错误难免（我也可能不定时更新想法），欢迎和我讨论jsxiejp@163.com） 本文将会介绍对抗样本与对抗训练的相关知识（请将此对抗训练与Ian Goodfellow的生成对抗网络区别开来）。综合Ian Goodfelow在Berkeley CS 294-131的deeplearning topic上面的讲义，我将从以下几个方面介绍：什么是对抗

这两天正好看过一篇相关的paper，“EXPLAINING AND HARNESSING ADVERSARIAL EXAMPLES” 作者是Ian Goodfellow、Jonathon Shlens、Christian Szegedy，发在ICLR 2015上。之前很多人认为是由于模型非线性的特征导致了对抗样本的产生，而Goodfellow他们却提出恰恰是模型本身的线性（或者说是通过点乘得到

解决小目标检测问题的一般方法：提高输入图像的分辨率，会增加运算量；多尺度特征表示，结果不可控。 方法提出 论文使用感知生成式对抗网络（Perceptual GAN）提高小物体检测率，generator将小物体的poor表示转换成super-resolved的表示，discriminator与generator以竞争的方式分辨特征。Perceptual GAN挖掘不同尺度物体间的结构关联，提

Generative Face Completion CVPR 2017 https://arxiv.org/abs/1704.05838Code: https://github.com/Yijunmaverick/GenerativeFaceCompletion首先来直观的认识一下人脸修复是什么？ 输入一个有缺失的人脸图像，得到完整的人脸图像 本文算法训练流程

CycleGAN是在今年三月底放在arxiv（地址：[1703.10593] Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks）的一篇文章，同一时期还有两篇非常类似的DualGAN和DiscoGAN，简单来说，它们的功能就是：自动将某一类图片转换成另外一类图片。作者在论文中也举

论文地址：UNSUPERVISED REPRESENTATION LEARNING WITH DEEP CONVOLUTIONAL GENERATIVE ADVERSARIAL NETWORKS源码地址：DCGAN in TensorFlowDCGAN，Deep Convolutional Generative Adversarial Networks是生成对抗网络（Generat

上一节我们提到G和D由多层感知机定义。深度学习中对图像处理应用最好的模型是CNN，那么如何把CNN与GAN结合？DCGAN是这方面最好的尝试之一。源码：https://github.com/Newmu/dcgan_code 。DCGAN论文作者用theano实现的，他还放上了其他人实现的版本，本文主要讨论tensorflow版本。 TensorFlow版本的源码：https://github.

首先是各种参考博客、链接等，表示感谢。1、参考博客1：地址——以下，开始正文。1、DCGAN的简单总结稳定的深度卷积GAN 架构指南:所有的pooling层使用步幅卷积(判别网络)和微步幅度卷积(生成网络)进行替换。在生成网络和判别网络上使用批处理规范化。对于更深的架构移除全连接隐藏层。在生成网络的所有层上使用

首先是各种参考博客、链接等，表示感谢。1、参考博客1：地址 2、参考博客2：地址——以下，开始正文。1、GAN的简单总结见上一篇博客。2、利用GAN生成1维正态分布首先，我们创建“真实”数据分布，一个简单的高斯分布，均值为4，标准差为0.5,。还有一个样本函数，返回分布中给定数量的样本（按值排序过）。class DataDistribut

在我们之前的文章中，我们学习了如何构造一个简单的 GAN 来生成 MNIST 手写图片。对于图像问题，卷积神经网络相比于简单地全连接的神经网络更具优势，因此，我们这一节我们将继续深入 GAN，通过融合卷积神经网络来对我们的 GAN 进行改进，实现一个深度卷积 GAN。如果还没有亲手实践过 GAN 的小伙伴可以先去学习一下上一篇专栏：生成对抗网络（GAN）之 MNIST 数据生成。专栏中

先来梳理一下我们之前所写的代码，原始的生成对抗网络，所要优化的目标函数为： 此目标函数可以分为两部分来看：①固定生成器 G，优化判别器 D， 则上式可以写成如下形式：  可以转化为最小化形式： 我们编写的代码中，d_loss_real = tf.reduce_mean(tf.nn.sigmoid_cross_entropy_with_logi

生成对抗网络（GANs）是一种很有力的生成模型，它解决生成建模问题的方式就像在两个对抗式网络中进行比赛：给出一些噪声源，生成器网络能够产生合成的数据，鉴别器网络在真实数据和生成器的输出中进行鉴别。GAN能够产生十分生动的样例，但是很难训练。尽管最近大量的研究工作都投入到了寻找能让GAN稳定训练的方法上，但GAN的持续稳定训练成了依然是一个公开的问题。概要最近提出的Wasserstein GAN

ICML 2017 仍然在悉尼火热进行中，Facebook 研究院今天也发文介绍了自己的 ICML 论文。Facebook有9篇论文被 ICML 2017接收，这些论文的主题包括语言建模、优化和图像的无监督学习；另外 Facebook 还会共同参与组织 Video Games and Machine Learning Workshop。曾掀起研究热潮的 Wasserstein GAN

A-Fast-RCNN: Hard Positive Generation via Adversary for Object Detection CVPR 2017 Caffe code : https://github.com/xiaolonw/adversarial-frcnn本文将对抗学习引入到目标检测问题中，通过对抗网络生成一下遮挡和变形的训练样本来训练检测网络，从而使得网

对抗网络之目标检测应用：A-Fast-RCNN       论文：A-Fast-RCNN: Hard Positive Generation via Adversary for Object Detection 【点击下载】       Caffe代码：【Github】一. 深度学习正确的打开方式       深度学习的根基在于样本，大量的样本决定了深度

成对抗网络代码全解析, 详细代码解析(TensorFlow, numpy, matplotlib, scipy)今天我们接着上一讲“#9 生成对抗网络101 终极入门与通俗解析”， 手把手教你写一个生成对抗网络。参考代码是：https://github.com/AYLIEN/gan-intro关键python库: TensorFlow, numpy, matplotlib,