Jasminexjf的博客

这是最近看生成模型的first paper：摘要：PixelCNN在自然图像的密度评估中获得了最先进的结果。尽管训练速度很快，但推理成本高昂，需要每个像素进行一次网络评估;对于N pixel 的图像需要O（N）的复杂度。虽然这可以通过缓存激活来加快速度，但仍然需要生成每个像素的序列。在这项工作中，我们提出了一个可以并行化的PixelCNN，它允许通过对某些像素组进行建模，使其成为条件独立的。我...

在Ian Goodfellow 在证明GAN能够拟合真实分布时，引入了D、G网络具有无限建模的能力的假设，但是往往这是不合逻辑的，而且无限建模能力很容易导致过拟合、mode collapse问题。针对于此，提出了LS-GAN针对去掉该假设（无限建模能力），取而代之的是“按需分配”建模能力。利用该假设可带来如下Benefits:  如果生成样本和真实样本已经很接近了，我们就不必要求他们的L函数非...

在前面的基础上：GAN——DCGAN——LSGAN——WGAN——WGAN-GP（本文）在原始GAN基础上，DCGAN作者首先提出了一个将CNN引入GAN的全新架构，在一定程度上提高了训练的结果，但是这仅仅是一个治标不治本的架构；LSGAN在DCGAN的网络架构基础上进一步对Objective Function做了变动，但是还是会出现mode collapse的问题；在将KL散度-...

Recap：1）从2014年提出GAN出来，就一直存在着训练困难的问题，生成器和判别器的loss也无法指示训练过程，生成样本缺乏多样性（mode collapse）2）DCGAN的作者对generator和discriminator的架构进行了实验美剧，最终找到了一个比较好的网络架构——提出了一个将CNN架构引入GAN的模型，但是架构治标不治本。另外DCGAN的作者还做了一些小tric...

   最近在看Generative models,Aaron courville的lecture 资料中提到了pixcel RNN,但是由于其必须逐一提取当前像素点的信息（从左到右、从上到下），虽然效果好，但是速度太慢了；进而将model中的RNN装换成CNN，从而有了Pixcel CNN,但是该model的问题是Blind spot 和效果没有Pixcel RNN 好；进而提出改进模型 gate...

SeqGAN这篇paper是上交的一位本科生写的，佩服。最近在学习Generative models,所以翻出来看看。正巧碰到有大神已经做好笔记了，就转载到自己博客--原文链接：https://www.jianshu.com/p/b8c3d2a42ba7接下来就记录下我的一点理解。paper链接1. 背景GAN在之前发的文章里已经说过了，不了解的同学点我，虽然现在GAN...

原文链接：https://www.jianshu.com/p/29948a5c5560毕竟paper才是基础。以下内容只是辅助作用，相当于paper重点内容的总结而已。再次强调，请读者先读paper。Generative Adversarial Networkspaper不能完全搞懂没关系，看下边。第一个问题，GAN对噪声z的分布有要求吗？常用哪些分布？常用的有高斯分布也可以...

最近看了Adversarial Autoencoders（以下简称AAE）这篇paper，就随便写几句笔记。paper链接，点我1. 概述：GAN和VAE是近年来很火的生成模型（关于GAN，我之前写过几篇了，需要的话点击文末的相关链接即可），对于这两个模型的研究层出不穷，变体无数，而将这两者结合也是一种优秀的思路。GAN说白了就是对抗，VAE就是一种Autoencoders，而本文的A...

机器之心原创作者：机器之心分析师加号、吴攀当地时间 12 月 5 日，机器学习和计算神经科学的国际顶级会议第 30 届神经信息处理系统大会（NIPS 2016）在西班牙巴塞罗那开幕。OpenAI 研究科学家 Ian Goodfellow 在会上作为主题为《生成对抗网络（Generative Adversarial Networks）》的演讲，机器之心分析师「加号」也到达了现场，并将演讲内容...

原文链接：https://zhuanlan.zhihu.com/p/25768099今天的主题是LSGAN——最小二乘GAN[1]，请注意，不是loss sensitive GAN。有两种LSGAN，least square GAN 和 loss sensitive GAN，两者有很大的差别。本期的主题是前者，后者我们作为下期的主题。0.GAN回顾什么是GAN？GAN就是警察抓小偷，是...

原文链接：https://blog.youkuaiyun.com/stdcoutzyx/article/details/53872121卷积神经网络在有监督学习中的各项任务上都有很好的表现，但在无监督学习领域，却比较少。本文介绍的算法将有监督学习中的CNN和无监督学习中的GAN结合到了一起。在非CNN条件下，LAPGAN在图像分辨率提升领域也取得了好的效果。与其将本文看成是CNN的扩展，不如将...

原文链接：https://ask.julyedu.com/question/7681——前言：如何把CNN与GAN结合？DCGAN是这方面最好的尝试之一，DCGAN的原理和GAN是一样的，这里就不在赘述。它只是把经典GAN中的G和D换成了两个卷积神经网络（CNN）。但是，并不是直接替换就可以了， DCGAN 对卷积神经网络的结构做了一些改变，以提高样本的质量和收敛的速度。具体有哪些改变，将在本...

生成对抗网络（GANs）是一种能“教会”计算机胜任人类工作的有趣方法。一个好的对手能让你成长更快，而GANs背后就是“从竞争中学习”的思路。GANs最先是由蒙特利尔大学的Ian Goodfellow提出，已在图像生成和风格迁移等领域获得了巨大的成功，充分展示了“无监督学习”技术的潜力。GANs是如何工作的？△GAN结构示意图一个GAN中包含两个相互竞争的神经网络模型。一个网络称...

相对而言，此篇paper并没有太多去证明该模型背后的数学原理。而是简单的讲解了本文的模型的创新（将pixel CNN 和VAE进行结合），并在不同的数据集上进行experminent.pixel RNN----pixel CNN----gated pixel CNN----pixel VAE----gated pixel VAE1.abstract自然图像建模是无人监督学习的一个里程碑...

paper是深层高斯模型中的随机反向传播和变分推理，是理解VAE的基础版本，也是Generative model基础必读paper。 该文将来自深层神经网络的想法和近似贝叶斯推理结合起来，推导出一种广义的、有指导意义的模型，并赋予了一种可伸缩推理和学习的新算法。本文在算法中引入了一个识别模型（inference model）来近似后验概率分布，它可以作为数据的随机编码器。我们开发了随机反向...

这是生成模型下面阅读的second paper：论文地址：[1312.6114] Auto-Encoding Variational Bayes来源：arXiv:1312.6114v10 [stat.ML] 1 May 2014参考文章链接：https://zhuanlan.zhihu.com/p/372244921 介绍在涉及如下图所示的包含隐变量的学习和推理问题时，往往会遇...

1）GAN数学角度分：https://zhuanlan.zhihu.com/p/27912062 2）DCGAN篇：  DCGAN论文笔记+源码分析：http://lib.youkuaiyun.com/article/aimachinelearning/59228?knId=1731  源码地址：DCGAN in TensorFlow  DCGAN 原文译文：https://ask.jul...