35、贝叶斯网络学习：参数与结构的探索

贝叶斯网络学习：参数与结构的探索

1. MCMC方法在贝叶斯网络中的应用

在贝叶斯网络的后验分布采样过程中，早期生成的样本可能无法代表期望的平稳分布。当状态空间存在多个连接良好但区域间转移概率较低的区域时，就可能出现这种情况。

为了解决这个问题，常用的方法是使用启发式算法来评估样本轨迹是否混合。例如，当样本混合时，不同时间窗口的样本均值应该相似。由于连续样本之间存在相关性，导致估计量的方差比独立样本的方差更高，因此在样本收集之间需要进行多次迭代以降低方差。另一个启发式设计思路是，如果使用从空间不同区域开始的多个链，收敛后它们应该产生相似的估计。

与前向采样方法不同，马尔可夫链蒙特卡罗（MCMC）方法在证据概率较低或后验与先验差异很大时不会退化。它广泛适用于各种网络（包括无向网络）和分布，是目前适用范围最广的推理方法，几乎适用于任何模型。然而，使用这些方法时，需要手动调整参数并指定许多选项，如提议分布、运行的链数、如何评估混合程度以及样本之间的延迟时间等。

2. 从数据中学习贝叶斯网络

从数据中学习贝叶斯网络涉及两个子任务：参数学习和结构学习。我们先从参数学习开始，尽管这可能看起来违反直觉，因为它实际上需要知道网络的结构。形式上，要学习的贝叶斯网络可以表示为一对 ( B = (G, \theta) )，其中 ( G ) 是其结构（有向无环图，DAG），( \theta ) 是其参数，即条件概率表（CPT）中的条目。

2.1 学习贝叶斯网络参数

设 ( R_i ) 是变量 ( X_i ) 可能取值的数量，( q_i = |\Omega_{Pa(X_i)}| ) 是 ( X_i ) 的父节点取值的可