4、图形模型与概率推理：理论、应用与实践

图形模型与概率推理：理论、应用与实践

1. 狄利克雷密度与先验分布

狄利克雷密度通常被表示为 $k$ 个变量的函数 $\pi(\theta_1, \ldots, \theta_k)$，其中有 $k - 1$ 个独立变量，且 $\theta_k = 1 - \sum_{j = 1}^{k - 1} \theta_j$。选择先验分布的超参数 $a_1, \ldots, a_k$ 是一个关键问题，W. Perks 建议选择 $a_1 = \ldots = a_k = \frac{1}{k}$。

共轭先验是指在抽样下保持封闭性的先验分布族中的先验分布。I.J. Good 证明了，当 $k > 2$ 时，样本的可交换性和充分性意味着先验必然是狄利克雷分布。充分性的概念由 W.E. Johnson 和 I.J. Good 定义，简单来说，它表示在给定 $n$ 个过去样本的情况下，下一个样本中出现 $k$ 种可能情况之一的条件概率，仅取决于 $n$ 和过去看到该情况的次数，而与其他情况无关。

2. 贝叶斯的工作与贡献

2.1 贝叶斯的台球问题

贝叶斯在其工作中处理了台球问题。假设在一个边长缩放为 1 的正方形台球桌上扔一个橙色球，测量其到桌边的最短距离，记为 $p$。然后扔 $n$ 个白色球，记录橙色球左侧白色球的数量 $k$。贝叶斯计算了给定 $k$ 时 $p$ 的分布，由方程 (1.17) 给出。在这种情况下，$p$ 的均匀先验分布基于一种可通过重复实验验证的物理理解。

2.2 贝叶斯的证明与争议

贝叶斯的工作发表于 1763 年，现代数学家阅读起来有一定难度，因此有大量文献研究他实际证明了什