40、基于深度学习的音频和文本情感识别系统

基于深度学习的音频和文本情感识别系统

1 引言

情感识别在人工智能领域具有重要意义，特别是多模态情感识别系统能够结合多种信息源提高识别的准确性。本文聚焦于使用音频和文本特征的情感识别系统，利用MELD数据集进行研究。

2 数据集

2.1 数据集选择

多模态情感分析和情感识别中有许多可用的数据集，但其中很多是非对话式的。IEMOCAP、SEMAINE和MELD是最受欢迎的对话式数据集，每个对话中的语句都对应一种情感标签。MELD数据集是在EmotionLines数据集基础上扩展和增强而来，包含音频、视觉和文本信息。它有来自著名电视剧《老友记》的1400多个对话和13000多个语句，多个说话者会参与一些对话。每个语句被标记为七种情感之一：愤怒、厌恶、悲伤、恐惧、快乐、惊讶和中立。具体分布如下表所示：
| 情感 | 描述 |
| — | — |
| 愤怒 | 负面情感 |
| 厌恶 | 负面情感 |
| 悲伤 | 负面情感 |
| 恐惧 | 负面情感 |
| 快乐 | 正面情感 |
| 惊讶 | 复杂情感，可正可负 |
| 中立 | 中性情感 |

该数据集还包含分辨率为1280×720像素、时长在2 - 13秒的视频片段，共有15907个视频文件。然而，数据集存在明显的不平衡，大部分数据点属于“中立”类。

2.2 MELD数据集训练准备

由于主要关注说话者的音频和文本特征，因此忽略视觉数据，仅从视频中提取音频。每个视频文件都有相关的对话，这些对话用于准备文本数据集。由于数据集高度不平衡，“厌恶”和“恐惧”两