Doctor Wu的博客

对抗网络 （RankGAN + GAN总结） １.RankGAN 这个模型不一样的地方在于,将原来的Discriminator从二分类模型变为一个排序模型,也就是一个Leaning to Rank的问题.所以模型的两个神经网络为:一个generator和一个ranker. 其中G为生成的样本,H为抽样的真实的样本,U为抽样的真实的样本.(没错，这里是两个都是真实样本) 基本思想就是分别计算G和U...

对抗网络 （Unsupervised Conditional Sequence Generation） 现实世界中，非监督数据占据绝大多数，GAN可以利用非监督数据进行结构化数据生成。 1. 文本转换 Text Transfer 我们经常使用GAN做图片生成，其实除了图片这样的结构化数据外，文本转换也是GAN可以做到的。 我们可以使用Cycle GAN的技术进行文本的“情绪”转换 由于文本是...

对抗网络应用：NLP对话生成 在自然语言处理NLP中，对抗网络也有它的应用空间。我们从NLP最经典的应用： Dialog Generation 对话生成开始。 传统的对话生成使用的是Maxlikelyhood的思路，就是使对话生成的每一个词的概率的乘积最大。 但是效果不是很好（词库量、训练量都太大） 我们先看看用Reinforcement learning的方法 1.Reinforcement l...

对抗网络 EBGAN 1. Energy-based GAN（EBGAN） EBGAN 其实就是 鉴别器Discriminator，提前用AutoEncoder训练过的GAN EBGAN的优势： GAN的训练比较麻烦，而AutoEncoder相对简单，EBGAN可以减少训练时间 EBGAN的 discriminator 只会给有限的空间的值大的估计 ...

对抗网络 Wasserstein GAN 1. 传统Traditional GAN的问题 1. JS 距离衡量存在问题 在大多数例子中PGP_GPG​和PdataP_{data}Pdata​ 中间是不重叠的 生成器的目的就是要让PGP_GPG​接近PdataP_{data}Pdata​，那么GAN中的JS divergence 无法有一个过渡的过程，在 PGP_GPG​接近PdataP_{da...

对抗网络GAN (四) 对抗网络 Cycle GAN 我们目前看到的GAN都是有正确结果做参照的GAN（Supervised），但是如果没有正确结果做参照（Unsupuervised）的。 最典型的例子就是风格迁移了（和Style Transfer算法不通，我们这里考虑用GAN），我们要把普通的照片迁移成梵高的画作，以前是没有这样的例子的，无从参考。 我们还可以把进行声音转换：男人的声音转换成女...

对抗网络 Conditional GAN （CGAN） 首先，我们先举一个例子，文本转换成图片:Text to Image. 有过机器学习经验的同学肯定会想到，用监督学习就可以做到： 不断地用监督的数据进行训练。 但是，真实世界中，非监督数据远远大于带标记的监督数据。 那我们考虑，如何利用GAN，来生成图片呢。 Scott Reed, et al 在2016年ICML 提出Conditional...

对抗网络 GAN背后的理论 对抗网络GAN是由生成器Generator最终生成图片、文本等结构化数据。 生成器能生成结构化数据的原理是什么呢？ 简而言之：就是让生成器Generator找到目标图片、文本的信息的概率密度函数。通过概率密度函数Pdata(x)P_{data}(x)Pdata​(x)，生成数据。 1. 最大似然估计近似 任何复杂的问题都可以拆解为简单的问题。 在机器学习中最大似然估计...

对抗网络介绍 GAN Introduction 1. 背景介绍 对抗网络GAN的全称，Generative Adversarial Network (GAN) [1]是由机器学习大神，深度学习(花书)的作者lan J. Goodfellow在2014年提出。 机器学习泰斗，CNN之父，在他的twitter中如此评价GAN： 这是十年中，机器学习领域最伟大的算法之一。堪比于他自己在1990年提出...