4、基于面部和语音情感的深度学习音乐推荐技术

基于面部和语音情感的深度学习音乐推荐技术

1. 研究背景与现状

近年来，利用深度学习处理面部表情的研究成果众多。有研究提出了基于语音和面部表情的多模态情感检测模型，该模型运用卷积神经网络（CNN）和长短期记忆网络（LSTM）学习全局和特定上下文的高级语音情感特征，并通过多个小规模核卷积块提取面部表情特征。

在图像分类方面，早期研究使用图像网络分类器对图像进行分类，多个深度神经网络在同一环境下协同工作对静态面部图像进行分类。同时，相关研究表明，通过整合更多情感元素并充分利用互补的情感信息，多模态识别相较于单模态识别在性能上具有明显优势，未来人机交互研究将朝着整合语音、图像等多模态情感数据的方向发展。

在语音情感识别领域，不同的研究采用了不同的方法。有研究使用CNN和决策树进行语音情感识别，通过MFCC从预处理的音频文件中提取特征，再用这两种分类器进行分类，预测情感的准确率分别为72%和63%。还有研究使用融合的深度CNN来识别语音情感，先创建、评估1D和2D CNN架构，然后将它们融合生成合并的深度CNN。

2. 数据集介绍

2.1 FER - 2013

FER - 2013数据集是通过谷歌图像搜索收集特定情感的图像并组合而成。该数据集包含约35,685张48×48像素的面部灰度照片，其中训练集有28,709个实例，公共测试集有3,589个示例。数据集中的每张图像都被分类为七种情感之一：惊讶、快乐、厌恶、恐惧以及中性表情。

2.2 RAVDESS

RAVDESS即Ryerson音频 - 视觉情感语音和歌曲数据集，包含1,440个文件。由24名专业演员（12名男性和12名女性）以非特定北美口音