6、误差估计方法详解

误差估计方法详解

1. 置信区间与测试集误差估计

在误差估计领域，置信区间是一个重要的概念。确定误差的上限依赖于获得所需的条件分布，而这些条件分布可从真实误差和估计误差的联合分布推导得出。置信界与条件均值 (E[\varepsilon_n|\hat{\varepsilon}_n]) 和条件方差 (Var[\varepsilon_n|\hat{\varepsilon}_n]) 相关。若条件方差大，(\tau(\alpha, \hat{\varepsilon}_n)) 会增大；若条件方差小，(\tau(\alpha, \hat{\varepsilon}_n)) 则减小。

有单侧界和双侧区间两种情况。单侧界提供保守参数，确保真实误差不会过大；双侧区间则涉及准确性参数，保证真实误差处于某个区间内，其表达式为：
(P(\hat{\varepsilon}_n - \tau(\alpha, \hat{\varepsilon}_n) < \varepsilon_n < \hat{\varepsilon}_n + \tau(\alpha, \hat{\varepsilon}_n) |\hat{\varepsilon}_n) = 1 - \alpha)

此外，还可考虑无条件区间。通过偏差分布的尾概率能得到关于真实误差的“置信区间”，但这里样本数据未给定，真实误差和估计误差都是随机的，所以这是一种无条件（平均）的置信度量，相比条件置信区间，对特定问题的信息提供较少。

测试集误差估计假设存在一个与原始样本 (S_n) 独立的第二随机样本 (S_m)，(S_n) 为训练数据，(S_m) 为测试数据。测试集误差估计规则定义为：
(\Xi_{n,m}(\Ps