21、频率主义假设检验与信息论基础

频率主义假设检验与信息论基础

1. 频率主义假设检验

在面对两个假设，即原假设 (H_0) 和备择假设 (H_1) 时，我们需要依据数据集 (D) 来选择认为正确的那个。虽然可以采用贝叶斯方法计算贝叶斯因子 (p(H_0|D)/p(H_1|D))，但这需要对模型 (H_0) 和 (H_1) 的所有可能参数化进行积分，计算困难且对先验选择敏感。因此，这里考虑频率主义方法。

1.1 似然比检验

若使用 0 - 1 损失，并假设 (p(H_0) = p(H_1))，则最优决策规则是当 (\frac{p(D|H_0)}{p(D|H_1)} > 1) 时接受 (H_0)，这就是似然比检验。
- 示例：比较高斯均值
假设要检验数据是来自均值为 (\mu_0) 的高斯分布，还是均值为 (\mu_1) 的高斯分布（假设方差 (\sigma^2) 已知）。似然比可推导如下：
(\frac{p(D|H_0)}{p(D|H_1)} = \frac{\exp\left(-\frac{1}{2\sigma^2}\sum_{n = 1}^{N}(x_n - \mu_0)^2\right)}{\exp\left(-\frac{1}{2\sigma^2}\sum_{n = 1}^{N}(x_n - \mu_1)^2\right)} = \exp\left(\frac{1}{2\sigma^2}(2N\bar{x}(\mu_0 - \mu_1) + N\mu_1^2 - N\mu_0^2)\right))
该比值仅通过样本均值 (\bar{x}) 依赖于观测数据，这是一个检验统计量 (test(D)) 的例子，它是假设检验的标