31、预训练语言模型对自动对话评估的影响研究

预训练语言模型对自动对话评估的影响研究

1. 预训练语言模型类型

预训练语言模型在自然语言处理领域发挥着重要作用，不同类型的预训练语言模型具有不同的特点和适用场景。
- 因果语言建模（CLM） ：CLM 是传统的单向自回归预训练方式，模型根据之前的所有标记来预测下一个标记。给定一个包含 n 个标记的输入文本序列 $T = {t_1, …, t_n}$，由参数 $\theta$ 表示的语言模型通过最大化以下似然进行预训练：
[
\max_{\theta} \log p_{\theta}(T) = \sum_{i = 1}^{n} \log p_{\theta}(t_i|t_{<i})
]
在研究中，我们考察了具有 CLM 目标的 DialoGPT。它的骨干架构与 GPT - 2 相同，但预训练数据来自 Reddit 的大规模对话。输入为上下文 - 响应对，模型旨在最大化响应在对应上下文条件下的概率。由于其预训练目标，我们假设 DialoGPT 对基于困惑度的评估指标有用。
- 排列语言建模（PLM） ：XLNET 框架引入了 PLM 预训练目标，试图结合 CLM 和 MLM 预训练方案的优点。MLM 能捕获双向上下文信息，CLM 不假设序列内标记的独立性，可建模自然语言中的高阶和长距离依赖。PLM 目标是最大化序列关于所有可能排列顺序的期望对数似然。然而，在相同预训练数据量下，XLNET 并不优于 BERT，因此我们假设其对对话评估的贡献可能不如以 MLM 目标优化的预训练语言模型。
- 句子级表示学习 ：与标记级表示模型相比，句子级