17、端到端神经对话系统的问题、解决方案及相关资源

端到端神经对话系统的问题、解决方案及相关资源

1. Seq2Seq 模型的问题与解决方案

Seq2Seq 模型在对话自动化学习方面取得了显著进展，但仍存在一定局限性。生成的回复虽然语法正确，但往往无法考虑整体上下文，可能平淡、缺乏信息和情感，或者存在语义不一致的问题。

1.1 上下文问题

之前介绍了如何将先前的对话上下文融入当前话语的编码和回复的解码中，但这种上下文仅适用于当前话语的直接历史，而先前对话的上下文以及对话发生的物理环境、参与者之间关于现实世界实体、关系和事件的共享知识等也可能相关。

1.2 通用回复问题

基于生成的解码可能会产生平淡且缺乏信息的回复，即通用回复问题。传统的训练回复生成的目标函数只是计算给定输入消息下回复的最大似然，导致更频繁的通用短语比内容更丰富的短语更受青睐。为解决此问题，Li 等人提出在神经对话中使用最大互信息作为目标函数，实验结果表明该方法在两个对话数据集和人工评估中产生的回复比其他模型更具多样性。

1.3 回复质量特征

See 等人研究了神经对话中生成回复的几个特征，这些特征会对人类的质量判断产生不利影响：
- 重复 ：通过 N - gram 重叠来衡量，系统的话语存在重复情况。
- 特异性 ：通过归一化逆文档频率来衡量，回复平淡无趣。
- 回复相关性 ：衡量回复是否与对方先前的话语相关，解决上述通用回复问题。使用余弦相似度来测量回复相关性。例如，对于输入 “Do you go get coffee often