3、生成模型的自然正则化

生成模型的自然正则化

1. 引言

在过去十年里，使用判别模型和生成模型的学习理论取得了显著进展。生成技术，像隐马尔可夫模型（HMMs）、动态图形模型或专家混合模型，为处理缺失和不完整数据、不确定性或可变长度序列提供了一个有原则的框架。而判别模型，如支持向量机（SV Machines）和其他核方法（高斯过程、正则化网络等），已成为应用机器学习技术的标准工具，并在多个领域取得了创纪录的基准结果。

不过，直到最近，这两种方法大多是分离的。Jaakkola 和 Haussler 提出了一种有前景的方法，即设计受生成模型启发的核，以结合两者的优势。他们提出使用所谓的 Fisher 核，来给出一种考虑潜在概率分布的“自然”相似度度量。

定义核函数会自动对示例之间的度量关系做出假设，他们认为这些关系应该直接从生成概率模型 (p(x|\theta)) 中定义，其中 (\theta) 是模型的参数。这样做有两个目的：一是提高模型的判别能力，二是尝试找到由生成模型引起的示例之间的“自然”比较。

为了更深入理解由此产生的核的正则化特性，我们需要推导与之对应的正则化算子。接下来，我们将介绍信息几何工具，定义一类自然核，对其进行正则化理论分析，推导其特征系统分解，并通过实验进行验证和讨论。

2. 自然核

传统的支持向量核往往忽略了数据的潜在分布 (p(x))，只是施加了一般的平滑性要求。但在某些情况下，比如处理分类数据时，这种做法可能并不理想。有时我们希望在数据稀疏的地方加强平滑性，在数据丰富的地方减少平滑性。

为了引入基于生成模型的核类，我们需要引入信息几何的基本概念。考虑一族由 (\theta) 平滑参数化的生成模型