32、贝叶斯学习中的一致性定理探索

贝叶斯学习中的一致性定理探索

1. 引言

在贝叶斯学习领域，潜在函数方法是证明相关定理的关键。潜在函数能够量化学习的当前状态，使得下一步的预期误差不超过潜在函数的预期下降值。若能界定潜在函数的累积下降，就能得到所需的界限。本文将介绍熵潜在函数，它可能是一个新颖的定义，可解释为在所有权重的可允许变换下，模型类的最坏情况熵，同时保持真实分布的权重固定。

在深入技术内容之前，先探讨在线学习设置的局限性。直接定义的贝叶斯在线学习器在每次计算完整后验时，计算效率较低。例如，边缘化、最大后验概率（MAP）/最小描述长度（MDL）和随机模型选择在简单实现中同样效率低下，在可数模型类的情况下甚至通常无法计算。不过，许多实际且高效的学习方法，如人工神经网络的训练，都是对MAP/MDL和随机模型选择的近似。此外，如果输入生成过程满足额外假设（独立同分布），在线算法的界限也意味着离线变体的界限。在某些情况下，即使不知道完整分布，也能从概率分布中高效采样。

本文的重要贡献在于理论方面，它阐明了三种贝叶斯学习变体在理想情况下的学习行为。可数假设类是计算可行性的极限，因此是算法信息论的核心概念。对于连续参数化模型类的相应结果证明，仍是一个未解决的问题。

2. 基础设置与贝叶斯混合

我们在一个通用的离散贝叶斯在线分类框架中工作，采用随机概念。所有定理和证明都适用于非独立同分布序列的预测。

设 $X = {1 \ldots |X|}$ 是一个有限字母表，$Z$ 是任意可能输入的集合，$C = {\nu_1, \nu_2, \ldots}$ 是一个有限或可数的模型类。每个模型 $\nu \in C$ 为所有输入 $z \in Z$ 指定了 $X$ 上