18、复杂环境中的线索整合建模

复杂环境中的线索整合建模

1. 近似推理

在机器感知和生物感知模型中使用的许多概率模型，都面临着难以处理的推理问题。因此，概率论学者投入了大量精力，寻找对精确推理操作可靠、快速且准确的近似方法。目前已经提出了许多不同的近似方案，各有优缺点。

我们的目标是展示建模方法的潜力，而非针对特定问题进行最优开发，因此将采用一种特别简单但不太准确的近似方法。该方法与最先进的期望传播（EP）算法有一定关联。

我们的方法是忽略先验中的相关性，利用生成模型的高斯特性得到高斯近似。具体步骤如下：
- 已知在给定 $u$ 值的条件下，$a$ 和 $c$ 是联合高斯分布且均值为零。
- 原则上，可以通过对式（5.14）关于 $u$ 的先验分布进行积分，从 $a$ 和 $c$ 的联合分布中找到所需结果。但这个积分是指数级大的零均值高斯混合，需要对太多可能的变量组合进行求和，难以处理。
- 因此，我们通过最小化上述真实联合分布与高斯近似之间的 Kullback - Leibler（KL）散度来近似联合后验。这个最优近似分布也具有零均值，可通过将条件分布（式（5.14））中的协方差矩阵 $U$ 替换为其在先验下的平均值得到。协方差矩阵 $U$ 是对角矩阵，对角线上的 “1” 表示特定特征 - 位置组合的存在，其他位置为 “0”。每个对角元素在先验下的平均值是一个介于 0 和 1 之间的数，等于生成该特定特征 - 位置组合的边际先验概率。

式（5.16）是 $a$ 和 $c$ 的联合正态分布。为了获得用于建模感知推理的后验分布，需要将其转换为给定 $c$ 时 $a$ 的条件分布，这是概率微积分的标准操作，结果为式（5.17）。需要强调的是，式（5.17）远非式（