15、图形模型：条件独立性与概率分布的可视化表示

图形模型：条件独立性与概率分布的可视化表示

1. 局部模型连接的必要性

在处理测量值与世界状态之间的关系时，某些模型在测量值和世界状态维度较低时表现良好。然而，在许多实际情况中，这些模型并不适用。

例如，在语义图像标注问题中，对于一幅有 N = 10000 个像素的图像，我们需要为每个像素分配一个表示对象类别的标签，如“道路”“天空”“汽车”“树木”“建筑物”或“其他”。这意味着要构建一个将 10000 个测量的 RGB 三元组与 610000 种可能的世界状态相关联的模型。目前讨论的模型都无法应对这一挑战，因为涉及的参数数量（以及所需的训练数据量和学习与推理算法的计算要求）远远超出了当前机器的处理能力。

构建一组独立的局部模型是一种可能的解决方案，例如将每个像素标签分别与附近的 RGB 数据关联起来。但由于图像可能存在局部歧义，这种方法并不理想。例如，一个小的蓝色图像块可能来自语义上不同的类别，如天空、水、车门或人的衣服。因此，解决这个问题的方法是构建相互连接的局部模型，让附近的元素相互帮助消除歧义。

2. 图形模型概述

为了减少模型中变量之间的依赖关系，我们引入了条件独立性的概念，它可以用来表征模型中的冗余性。同时，我们还引入了图形模型，它是条件独立性关系的基于图的表示。我们将讨论两种不同类型的图形模型：有向图形模型和无向图形模型，并考虑它们对学习、推理和抽样的影响。

3. 条件独立性

• 独立性的基本概念 ：当我们首次讨论概率分布时，引入了独立性的概念。如果两个变量 x1 和 x2 的联合概率分布可以分解为 Pr(x1,x2)=Pr(x1)