88、学习图形模型：全面概述

学习图形模型：全面概述

1. 引言

在构建基础分布的良好模型时，实例数据无论是单独使用，还是结合从人类获取的先验知识，都能发挥重要作用。从一组实例构建模型的任务通常被称为模型学习。接下来，我们将探讨模型学习的目标、不同类型的学习任务及其计算影响。

2. 学习目标

为了评估不同学习方法的优劣，明确从数据中学习概率模型的目标至关重要。理想情况下，我们希望得到一个能精确捕捉数据所采样分布的模型，但由于计算限制和数据有限，这一目标通常难以实现。因此，我们需要选择一个“最佳”近似模型，而“最佳”的定义取决于我们的目标。不同模型往往存在不同的权衡，一个模型在某一性能指标上可能表现出色，但在另一指标上可能较差。所以，在开发学习算法时，我们必须明确学习任务的目标和相应的评估指标。

2.1 密度估计

学习网络模型最常见的原因是用于概率推理任务。在这种情况下，我们的学习目标可以表述为密度估计，即构建一个模型 $\tilde{M}$，使 $\tilde{P}$ 接近生成分布 $P^*$。

评估近似模型 $\tilde{M}$ 质量的常用方法是使用相对熵距离度量：
[ID(P^ || \tilde{P}) = \mathbb{E}_{\xi \sim P^ } \left[ \log \left( \frac{P^ (\xi)}{\tilde{P}(\xi)} \right) \right]]
当 $\tilde{P} = P^ $ 时，该度量为零，否则为正。直观地说，它衡量了使用 $\tilde{P}$ 而非 $P^*$ 时的压缩损失（以比特为单位）。