9、概率图模型与参数估计：原理、实例与方法

概率图模型与参数估计：原理、实例与方法

1. 概率图模型基础

概率图模型（PGM）在处理复杂的概率分布和变量关系时发挥着重要作用。在语言建模方面，M - gram 模型是一种常用的方法。当 M = 1 时，得到二元语法模型，它用于建模单词对的分布。然而，对于大词汇量，随着 M 的增大，估计 M - gram 模型的条件分布所需的参数数量会变得非常庞大，难以处理。此时，我们需要做出除条件独立之外的额外假设，例如假设 $p(y_t|y_{t - M:t - 1})$ 可以用低秩矩阵或某种神经网络表示，这就是神经语言模型。

2. 概率图模型的推理

PGM 定义了联合概率分布，我们可以利用边缘化和条件化规则来计算任意变量集 $i$ 和 $j$ 的 $p(Y_i|Y_j = y_j)$。

2.1 洒水器示例

考虑洒水器的例子，通过计算可以得到先验信念：
$p(R = 1) = \sum_{c = 0}^{1} p(C = c)p(R = 1|C = c) = 0.5$
当观察到草是湿的时，下雨的后验信念变为 $p(R = 1|W = 1) = 0.7079$。若同时发现洒水器开着，下雨的信念下降到 $p(R = 1|W = 1, S = 1) = 0.3204$。这种多个原因对观察结果的负相互作用称为解释消除效应，也称为伯克森悖论。

2.2 亚洲网络示例

亚洲网络是一个用于模拟西方可能近期去过亚洲的患者肺部疾病的假设模型。当患者报告有呼吸困难症状时，将该节点设为确定状态，传播新信息后，支气管炎的概率从 45% 上升到 83.4%。若患者表示近期去过亚洲，结核病的概率从 2% 增加到 9%。当得知患者