2、深度生成建模：原理、应用与模型分类

深度生成建模：原理、应用与模型分类

1. AI 不仅仅是决策

在深入探讨深度生成建模之前，我们先来看一个简单的例子。假设我们训练了一个深度神经网络，用于对动物图像（x ∈ ZD）进行分类，类别集合 Y = {猫，狗，马}。并且这个神经网络训练得非常好，它总是能以很高的概率 p(y|x) 对图像进行正确分类。然而，问题可能会出现。给图像添加噪声可能会导致完全错误的分类。例如，在几乎能完美分类的图像上添加噪声，预测标签的概率会发生偏移，但图像本身（至少在人类看来）几乎没有变化。

这个例子表明，用于参数化条件分布 p(y|x) 的神经网络似乎缺乏对图像的语义理解。我们甚至推测，仅学习判别模型不足以进行正确的决策和创建人工智能。一个机器学习系统如果不理解现实，也无法表达对周围世界的不确定性，就不能仅仅依靠学习如何做决策。如果少量的噪声就能改变系统的内部信念，使它的确定性从一个决策转移到另一个决策，我们怎么能信任这样的系统呢？如果系统无法正确表达对周围环境是否新颖的看法，我们又如何与它交流呢？

为了说明不确定性和理解在决策中的重要性，我们考虑一个将对象分为橙色和蓝色两类的系统。假设我们有一些二维数据和一个待分类的新数据点（用黑色十字表示）。我们可以使用两种方法进行决策：
- 判别方法 ：通过对条件分布 p(y|x) 进行建模来明确地制定分类器。
- 生成方法 ：考虑联合分布 p(x, y)，它可以进一步分解为 p(x, y) = p(y|x) p(x)。

使用判别方法训练模型后，我们会得到一个清晰的决策边界。此时，黑色十字离橙色区域较远，分类器会给蓝色标签分配更高的概率，决策