16、多模态情感机器人与对话系统设计指南

多模态情感机器人与对话系统设计指南

1. 多模态情感机器人对话实验

在相关实验中，展示了使用愤怒情绪的对话示例，具体内容见表 7。在实验里，系统用了语音和手势两种方式。系统始终发出积极的话语，用户的接受度得分有所提高。

角色	对话内容	用户接受度得分
S（系统）	…	…
U（用户）	…	…

这个实验构建了一个能通过多模态进行情感表达的对话机器人。基于有情感表达的说服性对话的现有研究场景，构建了一个系统，以针对不同情绪做出多种回应。构建了一个基于回应选择的对话机器人，它具备情感语音和手势。从两个角度关注自动化系统运用多模态情感表达的能力：一是使用情感表达的效果，二是用多种方式表达情感。实验结果显示，带有“快乐”情绪的说服性对话机器人具有显著有效的说服能力。像“愤怒”或“悲伤”这类情绪，也有提升说服性对话系统能力的潜力。

2. 对话系统竞赛概述

参与了两个对话系统竞赛，团队开发的系统在这两个竞赛中都获得了第一名。

竞赛名称	任务	长度	输入模态