36、学习理论中的留一法估计

学习理论中的留一法估计

1. 学习理论相关转换

在学习理论中，我们需要将关于 (f_Z) 和 (f_{Z_i}) 接近程度的结果转换为关于损失函数对应值的表述。利用柯西 - 施瓦茨不等式，对于任意的 (f,f’) 和 (x)，有：
[
|f(x) - f’(x)| \leq | f - f’ | \cdot | k(x, \cdot) | \leq | f - f’ | \cdot \sqrt{k(x, x)}
]
由于 (c) 是 Lipschitz 连续的，可得：
[
|c(x, y, f_Z) - c(x, y, f_{Z_i})| \leq C |f_Z(x) - f_{Z_i}(x)| \leq C | f_Z - f_{Z_i} | \leq C \sqrt{\frac{8CM}{m}}
]
将此结果代入相关式子，可得到 (| f_Z - f_{Z_i} | \leq 2C \sqrt{\frac{1}{m}})，进而证明 (|c(x, y, f_Z) - c(x, y, f_{Z_i})| \leq 2C^2 \sqrt{\frac{2}{m}})。

对于分段凸损失函数，可以用次微分代替导数进行扩展。不过，为避免符号过于繁杂，这里暂不展开。另一种证明任意凸损失函数定理的方法是使用经验风险项的勒让德变换。

2. 留一法估计概述

留一法估计是一种充分利用训练数据的方法。其基本思想是，从包含 (m) 个样本的训练集中去掉第 (i) 个样本，得到一个包含 (m - 1) 个样本的子集，用这个子集训练模型得到估计 (f_{Z_i})，然后计算该估计在第 (i) 个样本 ((