13、从社交媒体话语中学习音乐情感反应

从社交媒体话语中学习音乐情感反应

1. 研究背景与方法

自动估计音乐情感特质的系统发展，一直受到缺乏大型、高质量、带注释的音乐情感识别数据集的阻碍。此类注释实验不仅成本高昂，而且耗时费力。此外，在许多情况下，版权法限制了相关数据集中音频样本的分发，这对音乐情感预测任务中重要特征模式的使用造成了限制。

为解决这些问题，提出了一种通过对讨论音乐的社交媒体对话进行情感分析，来预测音乐情感维度标签的新方法。具体操作步骤如下：
1. 数据收集 ：利用四个已发布的音乐情感识别数据集提供的歌曲列表，创建一个关于音乐样本的社交媒体对话大型数据集。总共收集了超过1100万条评论，涉及近2万首歌曲。
2. 模型构建 ：使用预训练的大语言模型构建音乐情感预测系统，利用这些Transformer模型学习到的语言表示，对每个模型进行微调以完成该任务。

2. 实验结果与分析

在实验过程中，观察到模型预测结果与人类注释的维度情感标签之间存在适度的相关性。然而，模型也存在一些局限性：

2.1 模型预测集中问题

将模型的输出预测结果可视化在效价 - 唤醒度空间中，发现模型的预测结果往往集中在该空间的中心。这表明，尽管估计值与真实标签之间存在适度的线性关系，但这些预测结果常常趋向于分布的平均值。即使尝试减少数据集中的噪声，这个问题仍然存在。

这一现象可能源于将评论级别的预测进行聚合，以生成歌曲的单一整体效价和唤醒度估计的方法。具体过程为：先为每条评论预测一个效价和唤醒度值，然后对评论级别的预测结果求平均值，以得出歌曲级别的估计。这种方