18、二元变量与贝叶斯处理方法详解

二元变量与贝叶斯处理方法详解

1. 二元变量的期望与方差

在处理二元变量时，我们会涉及到一些重要的统计量，如期望和方差。对于一个服从二项分布的变量 (m)，其期望 (E[m]) 和方差 (var[m]) 分别由以下公式给出：
- 期望：(E[m] \equiv \sum_{m=0}^{N} mBin(m|N, \mu) = N\mu)
- 方差：(var[m] \equiv \sum_{m=0}^{N} (m - E[m])^2 Bin(m|N, \mu) = N\mu(1 - \mu))

这些结果也可以通过微积分直接证明。这里的 (Bin(m|N, \mu)) 表示二项分布的概率质量函数，(N) 是试验次数，(\mu) 是每次试验成功的概率。

2. 最大似然估计的局限性

在伯努利分布和二项分布中，参数 (\mu) 的最大似然估计是数据集中 (x = 1) 的观测值的比例。然而，这种方法在处理小数据集时可能会导致严重的过拟合问题。为了解决这个问题，我们需要引入贝叶斯方法。

3. 贝叶斯处理与先验分布

为了对这个问题进行贝叶斯处理，我们需要引入参数 (\mu) 的先验分布 (p(\mu))。这里我们考虑一种具有简单解释和有用分析性质的先验分布。

似然函数具有 (\mu^x(1 - \mu)^{1 - x}) 形式的因子乘积形式。如果我们选择一个与 (\mu) 和 ((1 - \mu)) 的幂成比例的先验分布，那么后验分布（与先验分布和似然函数的乘积成比例）将具有与先验分布相同的函数形式。这种性质称为共轭性。

我们选择的先验分布是贝塔分布，其定义如下：