机器学习之贝叶斯网络

一、相关概念

相对熵定义：

互信息： 两个随机变量X，Y的互信息，定义为X，Y的联合分布和独立分布乘积的相对熵

信息增益
信息增益表示得知特征A的信息而使得类X的信息的不确定性减少的程度
信息增益定义：
定义：特征A对训练数据集D的信息增益g(D,A)，定义为集合D的经验熵H(D)与特征A给定条件下D的经验条件熵H(D|A)之差，即：

显然，这即为训练数据集D和特征A的互信息。
概率相关公式：

二、贝叶斯网络

 贝叶斯网络(Bayesian Network)，又称有向无环图模型(directed acyclic graphical model ,DAG)，是一种概率图模型，根