91、贝叶斯网络参数估计全解析

贝叶斯网络参数估计全解析

1. 充分统计量简化与参数定义

在参数估计中，我们可以借助充分统计量的概念进行进一步简化。考虑这样一个表达式中的一项：
[
\prod_{m:x[m]=x_0} P(y[m] | x[m] ; \theta_{Y | x_0})
]
其中，每个单独的项 (P(y[m] | x[m] ; \theta_{Y | x_0})) 会根据 (y[m]) 的值取两个值之一。若 (y[m] = y_1)，该项等于 (\theta_{y_1|x_0})；若 (y[m] = y_0)，则等于 (\theta_{y_0|x_0})。我们来统计每种情况的数量，先将注意力局限于 (x[m] = x_0) 的数据情况，这些数据又可分为两类。当 (x[m] = x_0) 且 (y[m] = y_1) 时，出现 (\theta_{y_1|x_0})，其数量记为 (M[x_0, y_1])；当 (x[m] = x_0) 且 (y[m] = y_0) 时，出现 (\theta_{y_0|x_0})，数量记为 (M[x_0, y_0])。所以，上述表达式可写为：
[
\prod_{m:x[m]=x_0} P(y[m] | x[m] ; \theta_{Y | x_0}) = \theta_{y_1|x_0}^{M[x_0,y_1]} \cdot \theta_{y_0|x_0}^{M[x_0,y_0]}
]
基于对多项似然的讨论，我们可以通过以下方式最大化 (\theta_{Y | x_0})：
[
\theta_{y_1|x_0} = \frac{M[x_0, y_1]}{M[x_0, y_1] + M[x_0, y_0]}