温染的笔记

角色扮演情感聊天机器人的相关论文调研。

在 QA、逻辑推理等领域，多跳问答比单跳问答难得多。同理可得，多轮对话比单轮对话也难得多，模型需要结合历史对话和用户当前内容生成合适的响应。现有的指令数据大都是单轮或者两轮的对话，模型在对话轮数较少时，还能很好地遵循指令、记住历史信息以及输出合适的内容。但对话轮数多了后，模型的输出往往会变得不可控，例如越来越长、格式出现错误、遗忘历史信息、指令遵循能力变弱（人设不符）。那么如何缓解该问题，并积累相关的对话数据用作训练，是一个值得研究的场景与方向。

检查了相关的训练数据集，的确发现存在大量重复的语句，用户在不断地说着同样或类似的话，而角色回复的内容也有大量的短语级的重复，再加上我们训练时，只训练角色回复且多 epoch，会强化这一倾向。9 月 11 日得出的结论和研究员 4 的结论相同，通过更多的训练数据来让模型 cover 更多 context 下的输出，避免预训练阶段存在的问题（特定 context 下输出分布有问题，导致存在一个子串，反复生成该子串可以提高 PPL，例如成语接龙中“为所欲为”可以不停地循环）。