21、人机对话评估方法与挑战解析

人机对话评估方法与挑战解析

在人机对话领域，评估系统的性能是确保其有效性和可靠性的关键。不同的对话模式，如口头对话和多模态对话，需要不同的评估方法和应对不同的挑战。

1. 口头对话评估方法

在口头人机对话（MMD）中，已经提出了多种评估方法，形成了一个参考框架。这个框架包含了用户交互测试方法的建议，用于自动或半自动分析交互轨迹，确定评估指标，以及创建和分析用户填写的问卷。
- MadCow 范式 ：该范式提供了模板的概念，用于刻画查询的最小和最大答案，使评估更加严格。
- Paradise 范式 ：专注于最大化用户满意度，建议以满足任务为参考进行评估。
- 自动生成测试用户话语 ：通过模拟用户行为，包括其错误，来评估系统。法国的 Simdial 范式采用了这种方法，通过确定性模拟用户，利用干扰现象的概念，评估系统的对话能力、一般行为和鲁棒性。
- Data–Question–Response（DQR）方法 ：该方法通过向系统询问待评估的要点，将评估重点从数据转移到问题上，避免了只关注系统的答案或反应（黑盒方法），也不依赖于系统的语义结构（透明盒方法）。
- Demand–Control–Response - Result - Reference（DCR）范式 ：通过用控制取代问题，简化了 DQR 方法中的问题，减少了系统需要回答问题的难度。
- Peace 范式 ：通过用释义来建模对话历史，在黑盒模型内实现对上下文理