49、意大利视听情感数据库与虚拟世界中的口语对话系统

意大利视听情感数据库与虚拟世界中的口语对话系统

1 意大利视听情感数据库

1.1 情感信息通道

在情感信息的传递中，若仅依赖视觉或听觉某一通道来识别情感状态，会导致可利用特征量减少，还会使受试者的感知产生混淆。根据现有数据，更受青睐的通道似乎取决于所考察的情感状态。

1.2 评估结果

相关评估结果通过图展示，图 7 呈现了在收集的刺激上获得的评估结果，显示了每个情感标签在三种提议的实验条件下，受试者之间的总一致百分比。图 8 则展示了根据演员性别划分的受试者一致百分比。数据表明，总体而言，在识别男性或女性所表现的情感表达时，不存在性别差异，但女性的面部似乎更能编码快乐的视觉情感线索，女性的声音更能编码讽刺和悲伤的听觉情感线索。

1.3 数据库概况

现有的刺激与另一数据库中的刺激共同构成了一个包含 648 个刺激（216 个音频、216 个视频和 216 个视听组合）的大型数据库，这是意大利语的首个情感数据。该数据库的音频刺激已成功用于测试一种新的与说话者无关的情感语音表达分类方法。此数据库预计对开发用于识别语音和面部情感表达的新算法，以及进行跨文化的人类情感解码程序比较具有重要作用。目前正在进行美国和意大利受试者对该数据库解码程序的比较。

2 虚拟世界中的口语对话系统

2.1 系统概述

口语对话系统旨在让普通用户以自然的方式使用语音与复杂的计算机应用程序进行交互。它涵盖从问答系统到对话系统等多种类型，其目标是与用户建立自然的对话。近年来，随着虚拟现实应用的普及，口语对话系统受到了广泛关注。借助语音识别、语言理解和语音合成等技术的进步，研究催生