4、基于分割的槽填充任务公式化以实现更好的生成式建模

基于分割的槽填充任务公式化以实现更好的生成式建模

1. PYPSM生成过程与训练

PYPSM（Phrase-based Pitman-Yor Sampling Model）的生成过程预测下一个短语有两种情况：一是以概率 $\frac{N - M\beta}{N + \alpha}$ 出现的在 $s_{1:N}$ 中至少被观察到一次的短语；二是以概率 $\frac{M\beta + \alpha}{N + \alpha}$ 由NGSM（n-gram Slot Model）新生成的短语。我们使用 $p_{pypsm}$ 作为语言模型 $P_y$。

训练数据中的标注由多对（槽，值）组成，例如 “{ subject: “call john”, time: “10 to 9 am tomorrow” }”。这些标注部分确定了模型中的 $y$ 和 $b$，但非槽部分的边界和标签仍是隐藏的。我们采用塌缩吉布斯采样（Collapsed Gibbs Sampling）方法来推断这些潜在变量。

设 $X = x^{(1)} {1:T_i}, \ldots, x^{(N)} {1:T_N}$ 是一组训练句子，$Z = z^{(1)}, \ldots, z^{(N)}$ 是相应的标注。塌缩吉布斯采样器抽取的潜在变量集为 ${y, b, a}$。当给定 $y$、$b$ 和 $a_{\setminus i}$ 时，$a_i$ 的样本可以从公式 (4) 轻松获得。然而，$y$ 和 $b$ 涉及序列结构，因此我们需要一个高效的采样器。组成采样器所需的 $y$ 和 $b$ 的条件分布如下：

$p(b^{(i)}, y^{(i)}|X, Z, b_{(\setminus i