19、图形模型：推理、采样与学习的全面解析

图形模型：推理、采样与学习的全面解析

1. 图形模型概述

图形模型中存在从世界状态 $w$ 到数据 $x$ 的有向链接，体现了 $Pr(x|w)$ 的关系。这使得这些模型能构建数据上的概率分布，属于生成模型。并且，每个模型的连接较为稀疏，每个数据变量 $x$ 仅与一个世界状态变量 $w$ 相连，每个世界状态变量也仅与少数其他变量相连，从而产生了许多条件独立关系，可利用这些冗余性开发高效的学习和推理算法。

2. 含大量未知变量模型的推理

在实际应用中，理想情况下我们会使用贝叶斯规则计算完整的后验分布 $Pr(w_1…N|x_1…N)$。然而，模型中的未知世界状态通常数量巨大，导致推理极具挑战性。例如，在隐马尔可夫模型（HMM）中，若有 1000 帧视频且手语中有 500 个常见符号，那么可能的状态就有 $500^{1000}$ 种，显然计算和存储每个状态的后验概率不切实际。即便世界状态是连续的，计算和存储高维概率模型的参数也存在问题。不过，我们可以采用以下替代方法进行推理：
- 寻找最大后验（MAP）解
- 目标是找到最大后验解：$\hat{w} {1…N} = \arg\max {w_{1…N}}[Pr(w_{1…N}|x_{1…N})] = \arg\max_{w_{1…N}}[Pr(x_{1…N}|w_{1…N})Pr(w_{1…N})]$。
- 但由于世界状态数量极多，无法遍历每个状态来取最大值，需要利用分布中的冗余性，采用智能高效的算法寻找正确解。不过，对于某些模型，目前尚无已知的多项式算法来找到 MAP 解。
- 寻找边缘后验分布