18、应对配分函数难题：模型训练与评估策略

应对配分函数难题：模型训练与评估策略

1. 引言

在概率模型中，许多无向图模型是由未归一化的概率分布 $\tilde{p}(x; \theta)$ 定义的。为了得到有效的概率分布 $p(x; \theta)$，需要用配分函数 $Z(\theta)$ 对 $\tilde{p}(x; \theta)$ 进行归一化：
[p(x; \theta) = \frac{1}{Z(\theta)} \tilde{p}(x; \theta)]
配分函数对于连续变量是积分，对于离散变量是求和：
[Z(\theta) = \int \tilde{p}(x) dx \quad \text{或} \quad Z(\theta) = \sum_{x} \tilde{p}(x)]
然而，对于许多有趣的模型来说，计算配分函数是难以处理的。接下来，我们将介绍用于训练和评估具有难以处理的配分函数的模型的技术。

2. 对数似然梯度

学习无向模型的最大似然法特别困难，因为配分函数依赖于参数。对数似然关于参数的梯度有一项对应于配分函数的梯度：
[\nabla_{\theta} \log p(x; \theta) = \nabla_{\theta} \log \tilde{p}(x; \theta) - \nabla_{\theta} \log Z(\theta)]
这是学习的正相和负相的著名分解。对于大多数感兴趣的无向模型，负相是困难的。没有潜在变量或潜在变量之间相互作用很少的模型通常具有易于处理的正相。具有简单正相和困难负相的典型模型是受限玻尔兹曼机（RBM），其隐藏单元在给定可见单元的条件下相互独立。

下面更仔细地看一下 $\log