36、神经网络主题模型与变分自编码器在语言建模中的应用

神经网络主题模型与变分自编码器在语言建模中的应用

1. 神经网络主题模型概述

在文档建模中，我们可以用密集的潜在向量替代分类潜在变量，从而构建神经变分主题模型。假设文档表示为 (d)，潜在向量为 (z)，我们依据公式 18.33，使用证据下界（ELBO）作为学习目标。其中，(\theta) 代表与主题相关的特征，(q(z|d)) 是变分后验分布，(p(z)) 是先验分布。不同的 (d)、(z)、(q(z|d)) 和 (p(z)) 表示会产生不同的主题模型。下面我们介绍两种复杂度逐渐增加的模型。

2. 神经变分文档模型（NVDM）

神经变分文档模型（NVDM）是变分自编码器（VAE）在文档建模中的简单应用，也是一种有效的主题模型。对于 NVDM，文档表示 (d) 基于词袋假设。设 (d) 中的词集为 (W_d)，先验 (p(z)) 为 (N(0, I))，后验 (q(z|d)) 为 (N(\mu_d, \sigma_d^2 I))，这样可以利用公式 18.45 方便地计算公式 18.48 中 KL 项的梯度。

给定 (d)，(\mu_d) 和 (\sigma_d) 由以下推理网络预测：
[
\begin{cases}
h = f(W_1 d + b_1) \
\mu_d = W_2 h + b_2 \
\log \sigma_d^2 = W_3 h + b_3
\end{cases}
]
其中 (f) 是非线性激活函数，(W_1, W_2, W_3) 和 (b_1, b_2, b_3) 表示两个线性映射函数。

为了计算期望项的梯度，我们使用重参数化技巧，通过从