21、生成模型：原理、算法与应用

生成模型：原理、算法与应用

1. 生成模型概述

在机器学习中，传统的无分布学习框架不对数据的底层分布做任何假设，采用判别式方法，目标是学习一个准确的预测器，而非学习底层分布。而生成式方法则假设数据的底层分布具有特定的参数形式，目标是估计模型的参数，这一任务被称为参数密度估计。

判别式方法的优势在于直接优化感兴趣的量（预测准确性），避免学习底层分布。正如弗拉基米尔·瓦普尼克所说：“解决给定问题时，尽量避免将更一般的问题作为中间步骤。”不过，如果能准确学习到底层分布，就可以使用贝叶斯最优分类器进行预测。但通常情况下，学习底层分布比学习准确的预测器更困难。然而，在某些情况下，采用生成式学习方法是合理的。例如，有时估计模型参数在计算上比学习判别式预测器更容易；此外，在某些情况下，我们可能没有特定的任务，只是想对数据进行建模，以便后续进行预测而无需重新训练预测器，或者为了数据的可解释性。

2. 最大似然估计器

最大似然估计是一种常用的统计方法，用于估计数据的参数。下面通过一个简单的例子来说明。

假设有一家制药公司开发了一种治疗某种致命疾病的新药，我们想估计使用该药物后的生存概率。制药公司抽取了一个包含 $m$ 个人的训练集并给他们使用了药物。设训练集为 $S = (x_1, \ldots, x_m)$，其中如果第 $i$ 个人存活，$x_i = 1$，否则 $x_i = 0$。我们可以用一个参数 $\theta \in [0, 1]$ 来表示生存概率。

一种自然的估计 $\theta$ 的方法是使用训练集中 1 的平均数量作为估计值，即：
$\hat{\theta} = \frac{1}{m} \sum_{i = 1