21、第二届对话智能挑战赛（ConvAI2）：全面剖析与结果解读

第二届对话智能挑战赛（ConvAI2）：全面剖析与结果解读

1. 竞赛概述

在对话智能领域，为了推动模型在自然对话场景下的性能提升，举办了一场具有重要意义的竞赛。该竞赛聚焦于模拟两人初次见面时的正常对话，旨在找到能够解决当前闲聊模型常见问题的优秀模型。

2. 数据情况

• 数据集来源 ：用于训练模型的 CONVAI2 数据集在 ParlAI 中公开可用，它是 PERSONA - CHAT 任务的变体，仅在格式上有一些变化，并采用了不同的（新的）测试集。
• 任务描述 ：任务由两个说话者之间的简短闲聊对话组成，每个说话者都有分配的个人资料（persona）。说话者需自然聊天并相互了解，分配的个人资料自然且具有描述性，包含人类感兴趣的常见话题。每个个人资料至少包含 5 个句子，训练时从超过 1155 个个人资料中抽取，预留 100 个从未见过的个人资料用于验证。
• 数据集统计 ：具体统计信息如下表所示：
  | 数据集 | 示例数量 | 对话数量 | 个人资料数量 |
  | ---- | ---- | ---- | ---- |
  | 训练集 | 131,438 | 17,878 | 1155 |
  | 验证集 | 7801 | 1000 | 100 |
  | 隐藏测试集 | 6634 | 1015 | 100 |

为避免模型利用简单的单词重叠进行建模，还众包了相同训练和测试个人资料的额外重写集，使任务更具挑战性。例如，“I just got m