MM-SOC: Benchmarking Multimodal Large Language Models in Social Media Platforms

本文是LLM系列文章，针对《MM-SOC: Benchmarking Multimodal Large Language Models in Social Media Platforms》的翻译。

摘要

社交媒体平台是多模态信息交换的中心，包括文本、图像和视频，这使得机器很难理解与在线空间中的互动相关的信息或情绪。多模态大型语言模型（MLLMs）已成为应对这些挑战的一种很有前途的解决方案，但难以准确解释人类情绪和错误信息等复杂内容。本文介绍了MM-SOC，这是一个旨在评估MLLMs对多模态社交媒体内容理解的综合基准。MM-SOC汇编了突出的多模态数据集，并结合了一个新颖的大规模YouTube标签数据集，针对从错误信息检测、仇恨言论检测到社会背景生成的一系列任务。通过对四种开源MLLMs的十种尺寸变体的详尽评估，我们发现了显著的性能差异，突出了模型社会理解能力的进步需求。我们的分析表明，在零样本环境中，各种类型的MLLMs通常在处理社交媒体任务时表现出困难。然而，MLLMs在微调后表现出性能改善，这表明了潜在的改善途径。

1 引言

2 MM-SOC基准

3 模型选择

4 基准结果

5 MM-SOC的说明性用途

6 相关工作

7 结论

我们的研究对4个领先的ML