17、频率统计与决策理论：概念、权衡与应用

频率统计与决策理论：概念、权衡与应用

1. 频率统计中的置信区间问题

在频率统计中，置信区间（CI）是一个重要的概念。例如，对于某些样本得到的区间为 [39, 39], [39, 39], [39, 39], [40, 40] ，可以明显看出这是一个 75% 的置信区间，因为 39 包含在 3/4 的这些区间中。然而，如果观察到 D = (39, 40) ，那么 p(θ = 39|D) = 1.0 ，即我们知道 θ 一定是 39，但我们对这个事实只有 75% 的“置信度”。这表明，如果从不同的随机抽样数据集中计算多个置信区间，置信区间将在 75% 的时间内“覆盖”真实参数；但如果只有一个观察到的数据集，从而只有一个置信区间，那么频率统计的“覆盖”概率可能会产生误导。

另一个例子是估计伯努利分布的参数 θ。设样本均值为 y = 1/N * Σyn ，最大似然估计（MLE）为 ˆθ = y 。伯努利参数的近似 95% 置信区间为 y ± 1.96 * sqrt(y(1 - y)/N) （这称为 Wald 区间，基于二项分布的高斯近似）。当 N = 1 且 y1 = 0 时，MLE 为 0，这存在过拟合问题，而 95% 置信区间也是 (0, 0) ，情况似乎更糟。这可能是因为用高斯近似真实抽样分布、样本量太小或参数“太极端”。然而，即使对于大的 N 和非极端参数，Wald 区间也可能表现不佳。相比之下，具有非信息性 Jeffreys 先验的