8、贝叶斯网络表示：利用独立性实现高效概率建模

贝叶斯网络表示：利用独立性实现高效概率建模

在概率建模中，如何有效地表示多个随机变量的联合分布是一个关键问题。传统的显式表示方法在处理高维分布时面临诸多挑战，而贝叶斯网络通过利用分布中的独立性性质，为解决这一问题提供了一种强大的工具。

1. 联合分布表示的挑战

我们的目标是表示一组随机变量 $X = {X_1, \ldots, X_n}$ 上的联合分布 $P$。即使在最简单的情况下，即这些变量都是二元值的，联合分布也需要指定 $2^n - 1$ 个数字，也就是 $2^n$ 种不同赋值 $x_1, \ldots, x_n$ 的概率。对于稍大的 $n$，从计算、认知和统计的角度来看，显式表示联合分布都是难以处理的。

• 计算方面 ：操作联合分布的计算成本非常高，而且通常太大而无法存储在内存中。
• 认知方面 ：从人类专家那里获取如此多的数字是不可能的，而且这些数字非常小，不对应于人们可以合理考虑的事件。
• 统计方面 ：如果我们想从数据中学习分布，需要极其大量的数据才能稳健地估计这么多参数。

2. 利用独立性性质

为了更紧凑地表示高维分布，我们可以利用分布中的独立性性质。这基于两个关键思想：表示分布的独立性性质，以及使用一种替代参数化方法来利用这些更细粒度的独立性。

2.1 独立随机变量

考虑一个简单的场景，每个 $X_i$ 表示硬币 $i$ 抛掷的结果。通常，我们假设不同的硬币抛掷是边缘独立的，即对于任意的 $i, j$