Bayesian Network的辅助模型

最新推荐文章于 2024-07-16 08:00:47 发布

原创

最新推荐文章于 2024-07-16 08:00:47 发布 · 497 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#Bayesian Networks

本文探讨了Bayesian Network的推断过程，通过图解展示了节点如何由根节点扩散到叶节点。介绍了一种辅助模型，该模型通过添加新的随机变量Ej，改进了原有的模型，使得推断更高效。此方法受到了Diederik P. Kingma在2014年提出的VAE模型的启发。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Bayesian Network是有向无环图（directed acyclic graph, DAG），其推断的过程是由根节点（root node）逐次扩散到叶节点（leaf node）的过程，在Bayesian Network的一个节点可以描述为以下方向图：
这里写图片描述
图1 Bayesian Network的一个节点
图1中 $\mathbf Z_j$ 是Bayesian Network中的一个节点，即一个随机变量， $\mathbf {Pa}_j$ 是它的Parents（父节点）。设 $p_{\theta}(\mathbf Z_j \vert \mathbf {Pa}_j) = N(\mathbf Z_j \ ; \ h_{\theta}(\mathbf {Pa}_j), \sigma_z^2\mathbf I)$ ，表示在给定Parents时， $\mathbf Z_j$ 是以 $h_{\theta}(\mathbf {Pa}_j)$ 为中心的正态分布。在我们用MC(蒙地卡罗)方法进行推断时，为获得 $\mathbf Z_j$ 的样本，需要先得到 $\mathbf {Pa}_j$ 的样本 $\mathbf {pa}_j$ ，然后通过 $p_{\theta}(\mathbf Z_j \vert \mathbf {Pa}_j = \mathbf {pa}_j) = N(\mathbf Z_j \ ; \ h_{\theta}(\mathbf {pa}_j), \sigma_z^2\mathbf I)$ 抽样才能得到，即构造了一个新的分布后再抽样。
文章《Fast Gradient-Based Inference with Continuous Latent Variable Models in Auxiliary Form》为我们提出了一种辅助模型，该模型简单地可见图2：
这里写图片描述
图2 辅助模型
辅助模型在原有的模型上添加了一个新的随机变量 $\mathbf E_j$ 原来的 $p_{\theta}(\mathbf Z_j \vert \mathbf {Pa}_j)$ 成为了新的模型 $\hat p_{\theta}(\mathbf Z_j, \mathbf E_j \vert \mathbf {Pa}_j)$ ,令 $p_{\theta}(\mathbf Z_j \vert \mathbf {Pa}_j)$ 是p