40、变分自编码器生成图像

变分自编码器生成图像

1. 风格迁移与图像生成概述

风格迁移是指创建一张新图像，它保留目标图像的内容，同时捕捉参考图像的风格。具体来说：
- 内容可以通过卷积神经网络（ConvNet）的高级激活来捕捉。
- 风格可以通过ConvNet不同层激活的内部相关性来捕捉。

深度学习允许将风格迁移表述为一个优化过程，使用预训练的ConvNet定义的损失函数。快速风格迁移可以通过以下步骤实现：
1. 花费大量计算周期，使用特定方法为固定的风格参考图像生成输入 - 输出训练示例。
2. 训练一个简单的ConvNet来学习这种特定风格的转换。完成训练后，对给定图像进行风格化处理只需对这个小型ConvNet进行一次前向传播。

如今，创意AI最流行和成功的应用之一是图像生成，即学习潜在视觉空间并从中采样，以创建从真实图像插值而来的全新图像，如虚构人物、虚构地点、虚构猫狗等图片。本文将重点介绍图像生成的两个主要技术：变分自编码器（VAEs）和生成对抗网络（GANs）。

2. 从图像的潜在空间采样

图像生成的关键思想是开发一个低维的潜在表示空间（这也是一个向量空间），其中任何点都可以映射到一个“有效”图像，即看起来像真实事物的图像。能够实现这种映射的模块，将潜在点作为输入并输出图像（像素网格），在GANs中称为生成器，在VAEs中称为解码器。

一旦学习到这样的潜在空间，就可以从中采样点，并将它们映射回图像空间，从而生成从未见过的图像。这些新图像是训练图像之间的过渡。GANs和VAEs是学习图像表示潜在空间的两种不同策略，各有特点：
| 模型 | 特点 |
| ---- | ----