8、模型可靠性评估：Bootstrap置信区间与模型基可靠性测试

模型可靠性评估：Bootstrap置信区间与模型基可靠性测试

1. 模型预测可靠性与Bootstrap置信区间

在评估模型预测的可靠性时，超越具体预测实验的推断至关重要。与数据标注不同，我们关注的不是用于生成固定静态数据集的人类标注的可靠性，而是机器学习模型在多次使用中的预测可靠性。

1.1 置信区间概念

置信区间可以按照以下方式定义：设 $\mathcal{P}$ 表示一族分布，$\theta \in \mathbb{R}$ 是 $P \in \mathcal{P}$ 的一个未知参数。设 $\alpha \in (0, 1)$，$Y = (Y_1, Y_2, Y_3, \ldots, Y_n)$ 是从 $\mathcal{P}$ 描述的随机过程中生成的随机样本。那么估计区间 $[\hat{\theta}_l(Y), \hat{\theta}_u(Y)]$ 称为 $\theta$ 在置信水平 $1 - \alpha$ 下的置信区间，如果对于所有 $P \in \mathcal{P}$ 都有 $P(\hat{\theta}_l(Y) \leq \theta \leq \hat{\theta}_u(Y)) \geq 1 - \alpha$。

对于独立同分布的高斯数据且均值未知的情况，总体均值 $\mu$ 的 95% 置信区间的公式为：$\bar{x} - 1.96\sigma_{\bar{x}} \leq \mu \leq \bar{x} + 1.96\sigma_{\bar{x}}$，其中 $\bar{x}$ 是样本均值，$\sigma_{\bar{x}}$ 表示标准误差。

1.2 非参数Bootstrap方法

当