贝叶斯网络：利用变量消除(Variable Elimination)进行推理

贝叶斯网络简介

贝叶斯网络(Bayesian network)也叫贝氏网路、信念网络（belief network）或是有向无环图（DAG）模型，是一种概率图模型。它利用DAG的结构，得到一组随机变量{X1,X2,...,Xn}的条件概率分布（conditional probability distributions, or CPDs）。它的作用简单来说就是：通过分析因果关系来理解数据。

一般而言，DAG中节点表示随机变量，包括可观测变量，或潜在变量、未知参数。连接两个节点的箭头代表这两个随机变量是具有因果关系或非条件独立的；若没有箭头连接二者的情况就称随机变量彼此间条件独立。单箭头的起点是“因”，终点是“果”；两节点之间产生一个条件概率值。

贝叶斯网络的应用包括：疾病和相关症状间的概率关系（已知症状，计算各疾病的发生概率）；生物信息学中基因调控网络、蛋白质结构分析、基因表达分析等；各个领域的决策支持系统；电力故障分析，如利用因果分析技术帮助电力、能源等公司找到电力系统中的风险所在等。

贝叶斯网络是一种强有力的基于概率的不确定性推理方法。它可以模拟某个变量改变会产生什么样的结果，比如天气的改变会如何影响能源供给和购物的状况。贝叶斯网络和神经网络的最大区别和优势是，前者的运作过程有透明性，不是黑盒子。

贝叶斯网络的计算方法

贝叶斯网络的计算方法分为精确推导法和随机推导法。前者包括列举推理法、变量消除推理法（variable elimination）。后者包括直接取样推导法、拒绝取样推导法、概率加权推导法、马尔可夫链蒙特卡罗推导法。本文介绍精确推导法中的两个方法。

列举推理法

假如有两个服务器S1和S2，会发送数据包到用户端（用U表示）。而S2的发送成功率与S1的成功与否有关。其DAG结构图表示如下。对每个数据包传输，只有两个可能值：T（成功）或 F（失败）。那么就有如下的联合概率公式：

现在思考一个问题：假设用户U已经收到数据包，那么S1发送数据成功的概率是多大？

即我们要求！

而已知{S1}的真值表、{S1,S2}的真值表、{S1,S2,U}的真值表，这个问题是可以直接手动推导的！

推导如下：

变量消除推理法

在BN（贝叶斯网络）中，我们把叫做边际概率（Marginal Probability），把叫做条件概率，其中E可以是单个或联合证据（conjunctive evidence）。这里的X叫做查询变量（query variable），E叫做证据变量（evidence variable），所有其他变量都叫隐变量（hidden variable）。注意：边际概率的意思是，我们没有得到任何证据。我们通常对后验概率感兴趣，也就是某件事已经发生，想计算这件事发生的原因是由某个因素引起的概率。

现在考虑一个案例，名字叫“如果John和Mary都打电话(Call)给你，那么发生入室盗窃(Burglary)的概率是多少？”。

故事的背景如下：假如你正在参加一个聚会，突然John打电话给你，你离开聚会并接听，他说家里有警报（Alarm），但是他说的话不一定是事实（只是具有某个概率），因为他经常喝醉。然后没多久