37、图形模型：贝叶斯网络与马尔可夫随机场详解

图形模型：贝叶斯网络与马尔可夫随机场详解

1. 贝叶斯网络

贝叶斯网络是一种有向无环图，用于表示随机变量之间的条件依赖关系。它通过条件概率分布来描述变量之间的关系，是机器学习中常用的图形模型之一。

1.1 蒙特卡罗采样

蒙特卡罗采样是一种用于估计条件分布的方法，可用于任意结构的图。以一个包含七个离散随机变量的简单贝叶斯网络为例，假设已知三个变量 (x_1)、(x_3) 和 (x_5) 的值，我们希望推断 (x_6) 和 (x_7) 的条件分布 (p(x_6, x_7 | \hat{x}_1, \hat{x}_3, \hat{x}_5))。

采样方案的算法如下：

D = ∅; n = 0
while n < N do
    1. 采样 \(\hat{x}^{(n)}_2 \sim p(x_2)\)
    2. 采样 \(\hat{x}^{(n)}_4 \sim p(x_4 | \hat{x}_1, \hat{x}^{(n)}_2, \hat{x}_3)\)
    3. 采样 \(\hat{x}^{(n)}_6 \sim p(x_6 | \hat{x}^{(n)}_4)\)
    4. 采样 \(\hat{x}^{(n)}_7 \sim p(x_7 | \hat{x}^{(n)}_4, \hat{x}_5)\)
    5. \(D \Leftarrow D \cup \{(\hat{x}^{(n)}_6, \hat{x}^{(n)}_7)\}\)
    6. n = n + 1
end while

通过多次采样生成 (