机器会学习的博客

生成对抗网络还有一个有趣的应用就是，图像到图像的翻译。Pix2Pix就是实现图像转换的生成对抗模型，但是Pix2Pix中的对抗网络又不同于普通的GAN，称之为cGAN，全称是：conditional GAN。一个大规模数据集，其中包含来自50个不同城市的街景中记录的各种立体视频序列，除了更大的20，000个弱注释帧外，还具有5000帧的高质量像素级注释。数据集中的每一个样本都由一对图像组成：原始街景和像素级分割结果，下面的实验把左边作为输入，把分割的结果作为输出，训练一个实现街景分割的生成模型。

高质量的数据往往是稀缺的和昂贵的。好消息是，自从GANs问世以来，这个问题得到妥善解决，我们可以通过GAN来生成高质量的合成数据样本帮助模型训练。通过设计一个特殊的DCGAN架构，在只有一个非常小的数据集上训练分类器，仍然可以实现良好的分类效果。

GANs有两个模型组成,一个是生成器,用于训练生成假的数据,另一个是判别器,用于预测生成器的输出结果。其中生成器提供训练数据给判别器，提高判别器的准确率。判别器提供生成样本的预测结果，给生成器提供优化的方向。其实在1990年前后，对抗的思想就已经应用于无监督人工神经网络领域，通过最小化另一个程序最大化的目标函数来求解问题。生成器的输入通常是一些随机向量，然后去生成接近真实的训练数据。

通过卷积神经网络提升图像的分辨率，本文采用一个简单的模型来实现对图片画质提升，测试数据来自《office》中的部分剧照，由于画面原始尺寸较大，所以是对原始画面切片后的每一片进行分辨率提升，然后在重组,训练数据也是基于每个图片的切片(Patch)进行训练。

DigiFace-1M 数据集是一个包含 100 多万张用于人脸识别的合成人脸图像的集合，使用其中一部分。很诡异，适合制作恐怖图片生成器。

风格迁移首次提出来自这篇论文：。文中作者提出了一个假设：图像的内容(content)和风格(style)可分离。在一个收敛的深度神经网络中，例如VGG19、Inception等等中，1.图像的内容(content)信息主要保留在模型每层输出中。内容重建：基于模型浅层输出矩阵重建图像可以很好的还原图，基于模型深层输出矩阵重建的图像只能还原图像的整体轮廓，但是细节是缺失的。风格重建：基于模型多个不同层次的输出(由浅到深)重建图像，不同尺度输入越多，图像重建的风格跟原图越匹配，但是全局排列信息丢失。

通常我们通过使用大量的标记数据训练神经网络模型，以图像识别模型为例，模型通常由多个卷积层堆叠而成，中间还有一些池化和激活的操作，每一个图像从输入层到输出层，要经过很多层的“处理”。尽管模型表现良好，但是我们并不了解，模型到底从数据中学到了什么，或者图像中的哪些模式被模型检测到了，并导致了最终得到正确的分类。向网络输入任意的图像，然后选择某一层的输出（激活）计算其梯度，通过梯度信息修改图像增强网络模型检测到的任何东西，进而放大模式。以InceptionV3模型为例，可视化模型的检测结果。