22、数据分析结果的显著性检验与置信区间估计

数据分析结果的显著性检验与置信区间估计

在数据分析中，我们常常需要判断结果是否具有显著性，以及确定模型参数的置信区间。下面将详细介绍相关的检验方法和估计技巧。

1. 校准与方差变化检验

在进行两次测试时，我们可能会关心校准是否发生了变化，以及方差是否有所改变。对于这些问题，我们通常基于零假设（Null Hypothesis）进行判断。

• 校准变化检验 ：当被问到两次测试之间的校准是否发生变化时，如果我们不能拒绝“两次校准之间的差异是由随机变化引起的”这一零假设，那么就意味着目前没有足够的证据表明校准发生了实质性的改变。
• 方差变化检验 ：同样地，对于测试之间方差是否变化的问题，如果不能拒绝“两次估计方差之间的差异是由随机变化引起的”这一零假设，说明方差的差异可能只是随机因素导致的。

2. 拟合改进的检验

在为单一数据集提出两种替代模型时，通常会出现一个模型的总误差（E）比另一个小的情况。我们自然会认为误差较小的模型是更优的拟合模型，但需要注意的是，误差E是一个随机变量，即使从均值完全相同的概率密度函数中抽取，不同的实现也会在大小上有所不同。因此，当两个误差大小相似时，它们的差异可能是由随机变化引起的，而不是一个模型“真正”比另一个更好。

为了评估两个拟合的估计方差之比的显著性，我们使用F检验。F检验的公式如下：
[
F_{K_1, K_2} = \frac{(s_d^2) {est {model1}}}{(s_d^2) {est {