19、图形模型：推理、采样与学习的全面解析

图形模型：推理、采样与学习的全面解析

1. 图形模型概述

图形模型中存在从世界状态 (w) 到数据 (x) 的有向链接，呈现出 (Pr(x|w)) 的关系。这意味着它们构建了数据上的概率分布，属于生成模型。这些模型的连接较为稀疏，每个数据变量 (x) 仅与一个世界状态变量 (w) 相连，而每个世界状态变量也仅与少数其他变量相连，这种结构使得模型中存在许多条件独立关系，可用于开发高效的学习和推理算法。

2. 多未知变量模型的推理

在处理包含大量未知世界变量的模型时，推理工作面临挑战。理想情况下，我们会使用贝叶斯规则计算完整的后验分布 (Pr(w_{1…N}|x_{1…N}))，但实际中未知世界状态数量庞大，计算和存储每个状态的后验概率不切实际。以下是几种可行的推理方法：
- 寻找最大后验（MAP）解
- 公式 ：(\hat{w} {1…N} = \arg\max {w_{1…N}}[Pr(w_{1…N}|x_{1…N})] = \arg\max_{w_{1…N}}[Pr(x_{1…N}|w_{1…N})Pr(w_{1…N})])
- 难点 ：世界状态数量极多，无法遍历所有状态来寻找最大值，需要利用分布中的冗余信息，采用智能高效的算法。部分模型目前尚无已知的多项式算法来求解 MAP 解。
- 寻找边缘后验分布
- 公式 ：(Pr(w_n|x_{1…N}) = \int\int Pr(w_{1…N}|x_{1…N})dw_{