7、贝叶斯参数学习及相关数据处理方法

贝叶斯参数学习及相关数据处理方法

1. 贝叶斯参数学习基础

在概率模型中，参数学习是关键环节。最大似然估计虽常用，但在数据量有限时存在缺陷。例如，若航空安全数据库仅包含过去一周的事件，且未记录到空中碰撞，那么最大似然估计会得出空中碰撞概率为 0 的结论，这显然不合理，除非我们事先假设所有航班都绝对安全。

贝叶斯参数学习则是估计给定数据 $D$ 下参数 $\theta$ 的后验分布 $p(\theta | D)$，而非像最大似然估计那样得到一个点估计 $\hat{\theta}$。这个分布能帮助我们量化对 $\theta$ 真实值的不确定性。我们可以通过计算期望将其转换为点估计：
$\hat{\theta} = E_{\theta\sim p(\cdot|D)}[\theta] = \int \theta p(\theta | D) d\theta$
不过，在某些情况下，期望可能不是一个合适的估计，此时可以使用最大后验估计：
$\hat{\theta} = \arg \max_{\theta} p(\theta | D)$
贝叶斯参数学习可视为具有特定结构的贝叶斯网络中的推理过程，该网络假设观测变量相互条件独立。我们需要指定先验分布 $p(\theta)$ 和条件概率 $P(O_i | \theta)$，通常使用均匀先验 $p(\theta)$。

2. 不同分布的贝叶斯学习

2.1 二元分布的贝叶斯学习

假设要学习二元分布的参数，设 $P(o_1 | \theta) = \theta$。在假设均匀先验的情况下，通过一系列推导可得后验分布与 $\theta^n(1 - \theta)^{m - n