43、对话代理与攻击性语言评估的研究进展

对话代理与攻击性语言评估的研究进展

对话代理模型研究

在对话代理的研究中，为了让模型能更好地利用互联网搜索和长期记忆中的数据获取相关知识，并在生成对话回复时加以运用，研究人员进行了一系列的工作。

候选处理与相似性计算

首先，将文本分割成候选列表，候选可以是单个句子或段落。接着，分别将对话历史记录和每个候选输入到模型中。利用模型得到的嵌入向量，计算对话历史嵌入向量和候选嵌入向量的点积，以此得出对话历史与每个候选的相似度得分。最后，选取得分最高的 N 个候选用于后续的对话模型。由于候选是与上下文分开处理的，所以长期记忆中候选的嵌入向量在模型输出时始终保持不变。因此，在长期记忆中，除了候选的初始文本外，还会为其分配从该模型获得的嵌入向量。用于训练检索模型的数据集有 Wizard of Internet、Sberquad 和 Miracl，这些数据集都包含问题、答案以及呈现答案的候选。

相关知识提取

将对话历史、人物角色（如果存在）和之前获取的一组候选作为输入传入模型。对于编码器 - 解码器模型，可以使用 Fusion - in - Decoder 方法。该方法将每个候选与对话历史和人物角色进行拼接，并在编码器模块中独立处理，解码器模块则处理编码器所有输出的拼接结果。当候选规模过大无法一次性输入模型时，这种方法尤为有效。此任务使用了 Sberquad、Miracl 和 Wizard of Internet 数据集进行学习，此外还使用了俄语对话数据集 Toloka Persona Chat Rus。按照特定解决方案，从回复中提取实体作为知识，目标知识是同时出现在对话历史和目标回复中的实体。

对话回复生成

<