13、对话系统评估全解析

对话系统评估全解析

1. 对话系统评估指标

在评估对话系统时，有几个关键指标起着重要作用：
- 对话深度 ：通过计算围绕同一主题的连续对话轮数来衡量。这一指标反映了对话系统在特定主题上深入探讨的能力。例如，在一场关于体育赛事的对话中，如果系统能够与用户就该赛事的多个方面进行多轮交流，而不是很快转移话题，那么其对话深度就较高。
- 话题多样性/对话广度 ：该指标用于衡量对话中话题的多样性，涵盖了诸如政治、体育等宏观话题领域，以及像默克尔、罗纳尔多等细粒度的话题关键词。丰富的话题多样性可以使对话更加有趣和富有信息量。
- 评估指标统一化 ：旨在为Alexa Prize中的社交机器人提供一种基于整体对话质量的排名方法。通过将各个指标与用户评分进行关联，确定了每个指标的相关性。其中，统一指标与用户评分的相关性较强（为0.66），这表明它可以作为用户评分的替代指标，从而为开放域对话系统提供自动化的评估过程。

2. ChatEval：聊天机器人评估工具包

ChatEval是一个用于评估开放域Seq2Seq聊天机器人的框架，旨在解决当前评估程序种类繁多的问题。它基于对话故障检测挑战（DBDC）的数据集，提供了用于自动和人工评估的开源代码库，同时还提供了模型代码、训练参数和评估结果。
- 自动评估指标 ：包括词汇多样性、平均余弦相似度、句子平均BLEU - 2分数和响应困惑度。这些指标从不同角度评估了聊天机器人的性能，例如词汇多样性反映了机器人使用词汇的丰富程度，平均余弦相似度衡量了生成响应与参考响应之