22、生成模型与无标签数据学习

生成模型与无标签数据学习

1. K - 均值聚类中 M 的选择

在 K - 均值聚类里，我们可运用“肘部法则”来选取簇的数量 M。具体操作是尝试不同的 M 值，记录目标函数的值。然后观察目标函数值随 M 变化的曲线，寻找曲线中的“弯折点”。理想情况下，这个弯折点会很明显，但在实际数据中，可能会出现难以明确判断的情况，比如可能得出 M = 2 或 M = 4 两种结论，最终由用户自行决定。

当数据是二维时，我们能直观地展示聚类结果并进行比较；若数据维度超过二维，就只能依据“肘部图”来选择 M。

2. 深度生成模型概述

生成模型的关键在于将数据 x 视作随机变量，并对其分布做出假设。在高斯混合模型（GMM）中，我们用高斯分布来建模 x 的（类条件）分布。不过要注意，这并不意味着我们认为数据真正服从高斯分布，只是其近似高斯分布，从而能构建出有用的模型（用于聚类或分类）。但在很多情况下，高斯假设过于简化，会限制模型性能。

为了放宽这一假设，有两种思路。一种是手动设计更符合数据特性的替代分布，但在高维数据且各坐标间存在复杂依赖关系时，手动设计合适的分布极具挑战。另一种思路是将 x 看作简单随机变量 z 的变换结果，通过灵活的变换，我们可以对 x 的复杂分布进行建模。这里我们将探讨如何利用深度神经网络构建深度生成模型。

为了专注于构建 x 的分布，我们在后续讨论中会去掉模型中的类标签或簇标签 y，以无监督的方式学习分布 p(x)。若数据存在簇结构，后续方法也能很容易地推广到对类条件分布 p(x | y) 的建模。我们要解决的问题是：给定来自分布 p(x) 的 n 个独立样本的训练数据集 {xi}，学习该分布的参数化模型。