34、归纳推理与简单PAC学习详解

归纳推理与简单PAC学习详解

1. 归纳推理相关引理及证明

在归纳推理中，存在对特定函数 (f) 进行有效描述或验证所需示例数量的限制。设 (D = e_1e_2 \cdots e_n) 为示例序列，其中 (e_i = (x_i, y_i, b_i))，并令 (x = x_1x_2 \cdots x_n)，(y = y_1y_2 \cdots y_n)，(b = b_1b_2 \cdots b_n)。引理的陈述需应对一些特殊情况，例如 (x) 用某种编程语言直接描述了 (f)。

1.1 引理 5.2.5

设 (c) 为足够大的常数。若 (K(f|x, y) > K(b|x, y) + c)，则我们无法有效地找到 (f)。

证明 ：假设通过矛盾法，我们能够根据 (D) 从长度显著短于 (K(f|D)) 的程序中计算出 (f)。由定理 3.9.1（各术语中额外有条件 (x)，(y)）可得：
(K(f, b|x, y) \leq K(b|x, y) + K(f|b, x, y) + O(1))
我们假定存在算法 (A)，给定 (D) 时返回 (f)。即，用 (K(A) = O(1)) 位描述 (A)，可得：
(K(f|b, x, y) = K(f|D) + O(1) \leq K(A) + O(1) = O(1))
将其代入上述等式，得到 (K(f, b|x, y) \leq K(b|x, y) + O(1))。由于显然 (K(f, b|x, y) = K(f|x, y) + O(1))，所以 (K(f|x, y) \leq K(b|x, y) + O(1))，这与引理中的假设矛