MMAFFBen: A Multilingual and Multimodal Affective Analysis Benchmark for Evaluating LLMs and VLMs

文章主要内容

本文介绍了MMAFFBen，这是首个用于评估大型语言模型（LLMs）和视觉语言模型（VLMs）的多语言多模态情感分析基准。该基准涵盖35种语言的文本、图像和视频模态，包含情感极性、情感强度、情绪分类和情绪强度四项核心任务。同时，构建了用于微调模型的MMAFFIn数据集，并基于此开发了MMAFFLM-3b和MMAFFLM-7b模型。通过对20个代表性模型的评估，揭示了现有模型在情感分析中的优势与不足，为后续研究提供了重要参考。

文章创新点

1. 首个多语言多模态基准：MMAFFBen整合35种语言的文本、图像、视频数据，覆盖4类情感分析任务，填补了现有基准在模态和语言覆盖上的空白。
2. 指令微调数据集与专用模型：构建MMAFFIn数据集，基于Qwen2.5-VL开发了MMAFFLM-3b/7b，提升模型在情感分析任务上的性能。
3. 系统性评估框架：对20个主流模型（包括GPT-4o-mini）进行多维度评估，为LLMs/VLMs的情感理解能力提供了全面对比。

Abstract

大型语言模型（LLMs）和视觉语言模型（VLMs，统称LMs）已革新了自然语言处理（NLP）和计算机视觉（CV）领域，在多个领域展现出显著潜力。然而，其在情感分析（即情绪分析和情感检测）中的能力仍未被充分探索。这一空白主要归因于缺乏全面的评估基准，以及情感分析任务本身的复杂性。本文引入MMAFFBen