MELT: Towards Automated Multimodal Emotion Data Annotation by Leveraging LLM Embedded Knowledge

文章主要内容

本文针对语音情感识别（SER）中人工标注成本高、一致性差的问题，提出利用大型语言模型（LLMs）中的GPT-4o进行多模态情感数据自动标注的方法。作者基于《老友记》电视剧构建了多模态情感数据集MELT，仅通过文本提示引导GPT-4o生成情感标注，无需直接访问音频/视频数据。实验表明，MELT在主观评分（MOS）和客观分类任务中均优于人工标注的MELD数据集，且成本显著降低（≤10美元）。研究验证了LLMs在多模态标注中的潜力，为自动化情感数据标注提供了新范式。

创新点

1. 首次将GPT模型用于多模态情感数据标注
   利用GPT-4o训练中积累的隐含知识（如对《老友记》的文化认知），仅通过文本提示实现音频情感标注，突破传统依赖人工或多模态输入的限制。

2. 提出上下文感知的自动标注框架
   结合思维链推理（CoT）和交叉验证的提示工程，确保标注的一致性和准确性，生成包含情感标签、音高、响度等细粒度特征的结构化输出。

3. 构建低成本、高质量的MELT数据集
   相比人工标注，成本降低90%以上（≤10美元），且标注一致性更高，在跨数据集测试中提升了SER模型的泛化能力。

4. 拓展LLMs在音频领域的应用边界
   证明LLMs可通过文本提示间接建模音频特征，为无人工标注的音频数据自动化处理提供新路径。

   </