20、基于对话感知槽位级模式图的对话状态跟踪方法解析

基于对话感知槽位级模式图的对话状态跟踪方法解析

在对话状态跟踪（DST）领域，模型的性能提升一直是研究的重点。早期的基于规则和神经网络的DST模型扩展性较差，而预训练语言模型如BERT和GPT - 2的出现为该领域带来了新的活力。本文将详细介绍一种名为DOLLAR的模型，它采用对话感知的槽位级模式图方法，在多个任务导向对话数据集上取得了优异的性能。

1. 相关工作回顾

早期的DST模型，包括基于规则和神经网络的方法，存在扩展性不足的问题。随着预训练语言模型的发展，一些研究开始利用BERT学习槽位和对话历史的表示，并通过注意力机制进一步丰富槽位表示；还有研究使用GPT - 2作为对话上下文编码器，将DST描述为语言生成任务。

近期的工作揭示了槽位关系的重要性。一些研究通过构建槽位相似度矩阵、应用槽位自注意力机制来建模不同的槽位关系，但存在过度连接带来冗余信息的问题。也有研究提出了top - k槽位自注意力机制，以提高性能。此外，一些流行的研究尝试应用预定义的模式图来整合基于人类经验定义的槽位关系，但这些模型未能以对话感知的方式在槽位级构建对话上下文和槽位之间的关系。

2. DOLLAR模型方法论

DOLLAR模型由三个主要组件组成：
- 上下文和模式编码器 ：利用BERT对上下文和模式进行编码。对于第t轮对话，系统响应为$R_t$，用户话语为$U_t$，对话话语可表示为$Z_t = R_t ⊕ U_t$，对话历史为$D_t = Z_1 ⊕ Z_2 ⊕ · · · ⊕ Z_{t - 1}$。模式由集合$S = {S_1, · · ·, S_P}$中的每个槽位$S_p$及其候选值$V_t^p ∈