26、PAC - Bayes理论与测度集中不等式详解

PAC - Bayes理论与测度集中不等式详解

1. PAC - Bayes方法概述

PAC - Bayes方法进一步推广了最小描述长度（MDL）和奥卡姆剃刀原理的思想。在PAC - Bayes方法中，通过在假设类上定义先验分布来表达先验知识。

1.1 假设类的层次结构

在假设类$H$中，定义了一个基于先验分布的层次结构。对于每个$h \in H$，分配一个概率（如果$H$是连续的，则为概率密度）$P(h) \geq 0$，称$P(h)$为$h$的先验得分。学习算法的输出不是单个假设，而是在$H$上定义的后验概率$Q$。

1.2 后验概率的损失定义

在监督学习问题中，$H$包含从$X$到$Y$的函数，$Q$可以被看作是一个随机预测规则。对于新实例$x$，根据$Q$随机选择一个假设$h \in H$并预测$h(x)$。$Q$在示例$z$上的损失定义为：
$\ell(Q, z) \stackrel{\text{def}}{=} E_{h \sim Q}[\ell(h, z)]$
根据期望的线性性质，$Q$的泛化损失和训练损失可以表示为：
$L_D(Q) \stackrel{\text{def}}{=} E_{h \sim Q}[L_D(h)]$
$L_S(Q) \stackrel{\text{def}}{=} E_{h \sim Q}[L_S(h)]$

1.3 PAC - Bayes界定理

定理表明，后验$Q$的泛化损失和经验损失之间的差异受到一个表达式的限制，该表达式取决于$Q$和先验分布$P$之间的Kullback - Leibler散度。