12、计算学习理论：PAC学习与奥卡姆学习解析

计算学习理论：PAC学习与奥卡姆学习解析

1. 计算学习协议

在计算学习理论中，有一种由Valiant提出的学习协议，该协议规定了从外部获取信息的方式。对于一个新的概念F，此学习协议提供两种类型的信息，并通过以下两个例程来完成信息获取：
- EXAMPLES() ：该例程没有输入，其输出是一个布尔向量 $\mathbf{x}$，满足 $F(\mathbf{x}) = 1$。对于每个布尔向量 $\mathbf{x}$，从该例程的任何单次调用中得到输出 $\mathbf{x}$ 的概率为 $P(\mathbf{x})$。简单来说，这个例程用于生成随机样本。
- ORACLE($\mathbf{x}$) ：输入为布尔向量 $\mathbf{x}$。若 $F(\mathbf{x}) = 1$，则输出为1；否则，输出为0。显然，这个例程用于检查输入样本是否为该概念的正样本。

这两个例程可以与师生模型相联系：每次学生调用EXAMPLES()例程时，它会根据问题域的未知分布随机生成一个样本，从而创建所需的样本集。而ORACLE($\mathbf{x}$)则扮演教师的角色，告知学生这些样本是否为某个概念的正样本。

1.1 可学习性

考虑输入为布尔向量 $\mathbf{x} = (x_1, x_2, \ldots, x_n)$，存在程序类C，且有 $f, g \in C$。对于给定的学习协议，程序类C是可学习的，当且仅当存在一个算法A，它具有以下两个属性：
1. 算法在多项式时间内运行，并且包含可调整参数h和各种量化参数。
2. 对于分布 $P(\mathb