90、贝叶斯网络参数估计：最大似然估计方法解析

贝叶斯网络参数估计：最大似然估计方法解析

1. 引言

在实际应用中，估计贝叶斯网络的参数是一个常见且重要的问题。数值参数往往比网络结构更难从人类专家那里获取，同时参数估计也是结构学习和从不完整数据中学习的基础。本文将重点介绍两种主要的参数估计方法之一——最大似然估计（MLE），并探讨其在贝叶斯网络中的应用。

2. 最大似然估计基础

2.1 图钉示例

• 问题描述 ：想象有一个图钉，抛掷它会出现正面（H）或反面（T）。假设图钉抛掷是由一个未知参数θ控制，θ表示图钉正面朝上的频率，且每次抛掷是独立同分布（IID）的。例如，抛掷100次图钉，其中35次正面朝上，我们直观地认为θ的最佳估计值是0.35。
• 似然函数定义 ：为了更正式地描述这个问题，我们定义假设空间Θ为所有可能的参数θ的集合，在图钉问题中，Θ = [0, 1]。似然函数L(θ : D)表示在给定参数θ的情况下，观察到数据集D的概率。例如，观察到序列H, T, T, H, H，其概率为P(⟨H, T, T, H, H⟩: θ) = θ(1 - θ)(1 - θ)θθ = θ³(1 - θ)²，这就是似然函数L(θ : ⟨H, T, T, H, H⟩)。
• 最大似然估计值 ：我们选择使似然函数最大化的参数值作为最大似然估计值（MLE）。对于一般情况，若数据集D中包含M[1]次正面和M[0]次反面，似然函数为L(θ : D) = θ^M 1 ^M[0]。为