MM-SOC: Benchmarking Multimodal Large Language Models in Social Media Platforms

最新推荐文章于 2025-11-25 12:11:01 发布
最新推荐文章于 2025-11-25 12:11:01 发布
阅读量144 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： LLM Daily Multimodal 文章标签： 语言模型 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/138306208
MM-SOC是评估多模态大型语言模型（MLLMs）理解社交媒体内容能力的综合基准，涵盖错误信息检测、仇恨言论识别等多个任务。研究发现，尽管MLLMs在微调后性能提升，但在零样本环境下处理这些任务时表现困难，揭示了模型在社会理解上的进步需求。

本文是LLM系列文章，针对《MM-SOC: Benchmarking Multimodal Large Language Models in Social Media Platforms》的翻译。

MM-SOC：社交媒体平台中多模态大型语言模型的基准测试

摘要

社交媒体平台是多模态信息交换的中心，包括文本、图像和视频，这使得机器很难理解与在线空间中的互动相关的信息或情绪。多模态大型语言模型（MLLMs）已成为应对这些挑战的一种很有前途的解决方案，但难以准确解释人类情绪和错误信息等复杂内容。本文介绍了MM-SOC，这是一个旨在评估MLLMs对多模态社交媒体内容理解的综合基准。MM-SOC汇编了突出的多模态数据集，并结合了一个新颖的大规模YouTube标签数据集，针对从错误信息检测、仇恨言论检测到社会背景生成的一系列任务。通过对四种开源MLLMs的十种尺寸变体的详尽评估，我们发现了显著的性能差异，突出了模型社会理解能力的进步需求。我们的分析表明，在零样本环境中，各种类型的MLLMs通常在处理社交媒体任务时表现出困难。然而，MLLMs在微调后表现出性能改善，这表明了潜在的改善途径。

1 引言

2 MM-SOC基准

3 模型选择

4 基准结果

5 MM-SOC的说明性用途

6 相关工作

7 结论

我们的研究对4个领先的ML

了解本专栏 订阅专栏 解锁全文 超级会员免费看
CODIS: Benchmarking Context-Dependent Visual Comprehension for Multimodal Large Language Models
c_cpp_csharp的专栏
05-16 137
多模态大型语言模型（MLLMs）在将视觉和语言相结合的各种任务中已经证明了有希望的结果。随着这些模型在研究和应用中越来越不可或缺，对其能力进行全面评估变得越来越重要。然而，大多数现有的基准都没有考虑到，在某些情况下，需要在更广泛的背景下解释图像。在这项工作中，我们引入了一个新的基准，名为CODIS，旨在评估模型使用自由形式文本中提供的上下文来增强视觉理解的能力。我们的研究结果表明，MLLMs在这一基准上始终达不到人类的表现。进一步的分析证实，这些模型很难有效地提取和利用上下文信息来提高他们对图像的理解。
SEED-Bench: Benchmarking Multimodal LLMs with Generative Comprehension
c_cpp_csharp的专栏
08-09 891
基于强大的大型语言模型（LLM），近年来生成的多模态大型语言模型作为一个关键的研究领域，在理解和生成方面表现出了非凡的能力。在这项工作中，我们通过引入一个名为SEED Bench的基准，将MLLMs中生成理解的评估作为对生成模型进行全面评估的初步步骤。SEED Bench由19K多项选择题组成，具有准确的人工注释（比现有基准大×6），涵盖12个评估维度，包括对图像和视频模态的理解。我们开发了一个高级管道，用于生成针对特定评估维度的多项选择题，集成了自动过滤和手动验证过程。
LLMs之Benchmark：《BrowseComp-ZH: Benchmarking Web Browsing Ability of Large Language Models in Chinese
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
05-12 8968
​ LLMs之Benchmark：《BrowseComp-ZH: Benchmarking Web Browsing Ability of Large Language Models in Chinese》翻译与解读 目录 《BrowseComp-ZH: Benchmarking Web Browsing Ability of Large Language Models in Chinese》翻译与解读 Abstract 1、Introduction
论文精读：TASKBENCH: BENCHMARKING LARGE LANGUAGE MODELS FOR TASK AUTOMATION
Alex
05-28 1269
LLM 带动了任务自动化的发展，它将用户指令描述的复杂任务分解为子任务，并调用外部工具来执行它们，在 Agent 中发挥着核心作用。但是目前还缺少系统化、标准化的基准来催 LLM 任务自动化的发展。任务自动化可以分为三个关键阶段：任务分解、工具调用和参数预测。为了生成高质量的评估数据集，作者引入了工具图的概念来表示用户意图中分解的任务，并采用反向指令方法来模拟用户指令和注释。作者还提出了 TASKEVAL，从不同方面评估 LLM 的能力，包括任务分解、工具调用和参数预测。
TASKBENCH: BENCHMARKING LARGE LANGUAGE MODELS FOR TASK AUTOMATION
c_cpp_csharp的专栏
12-28 728
最近，大型语言模型（LLM）的惊人进展点燃了任务自动化的火花，它将用户指令描述的复杂任务分解为子任务，并调用外部工具来执行，并在自主代理中发挥核心作用。然而，缺乏一个系统化和标准化的基准来促进LLM在任务自动化中的发展。为此，我们引入TASKBENCH来评估LLM在任务自动化中的能力。具体来说，任务自动化可以分为三个关键阶段：任务分解、工具调用和参数预测，以实现用户意图。与常见的NLP任务相比，这种复杂性使数据收集和评估更具挑战性。
2024.2 AI Hospital: Benchmarking Large Language Models in a Multi-agent Medical Interaction Simulato
Kakaxiii的博客
11-14 1339
人工智能医院：在多智能体医疗交互模拟器中对大型语言模型进行基准测试。
Benchmarking the Text-to-SQL Capability of Large Language Models: A Comprehensive Evaluation阅读笔记
Unconditional666的博客
07-04 930
通过将生成的 SQL 语句转换回文本并将它们与原始用户问题的语义并列，我们可以评估生成的 SQL 语句的准确性。它涉及将问题中的实体引用与相应的模式表或列对齐，要求模型理解数据库的结构和值，以及用户问题的语义。结果错误分类：表查询错误(多余，缺少，错误)，列选择错误（多余，缺少，错误），连接列错误（涉及join的错误），条件过滤错误，数据处理错误。随着用户查询中涉及的表和列数量的增加，LLM 的 Text-to-SQL 挑战显着升级。生成的SQL错误分两种：语法错误，结果错误。
MultiHop-RAG: Benchmarking Retrieval-Augmented Generation for Multi-Hop Queries 论文简介
The cure for boredom is curiosity. This is the log of its adventures.
01-22 1286
随着大型语言模型（LLM）如ChatGPT的出现，自然语言处理领域取得了显著进展。然而，这些模型的输出有时可能包含错误或不准确的信息，这限制了它们在实际应用中的可靠性。为了解决这个问题，研究人员提出了检索增强生成（RAG）技术，该技术通过将外部知识库与LLM相结合，提高了生成的响应的质量和准确性。本文介绍了MultiHop-RAG，这是一个用于评估RAG系统性能的新基准测试数据集。与其他现有的RAG数据集不同，MultiHop-RAG专注于复杂的。
[读论文] LawBench: Benchmarking Legal Knowledge of Large Language Models
大家好~我是SP_FA~
07-26 1864
LLM 在各个方面都表现出了强大的能力。然而，当将它们应用于高度专业化、安全关键的法律领域时，尚不清楚他们拥有多少法律知识以及他们是否能够可靠地执行与法律相关的任务。为了弥补这一差距，文章提出了一个综合性评估基准 LawBench。LawBench 经过精心设计，从三个认知层面对 LLM 的法律能力进行精确评估：（1）法律知识记忆：LLM 是否能够记住所需的法律概念、文章和事实;（2）法律知识理解：LLM 是否理解法律文本中的实体、事件和关系;
Benchmarking Long-Context Capability of Multimodal Large Language Models
c_cpp_csharp的专栏
06-25 163
多模态大型语言模型（MLLMs）在各种应用中显示出巨大的前景，引起了研究人员和从业者的广泛兴趣。然而，对其长期能力的全面评估仍然没有得到充分的探索。为了解决这些差距，我们引入了多模态大海捞针（MMNeedle）基准，专门用于评估MLLM的长上下文能力。除了多图像输入外，我们还使用图像拼接来进一步增加输入上下文长度，并开发了一个协议来自动生成标签，用于子图像级检索。
AD-LLM: Benchmarking Large Language Models for Anomaly Detection
c_cpp_csharp的专栏
01-07 376
异常检测（AD）是一项重要的机器学习任务，具有许多实际用途，包括欺诈检测、医疗诊断和工业监控。在自然语言处理（NLP）中，AD有助于检测垃圾邮件、错误信息和异常用户活动等问题。尽管大型语言模型（LLMs）对文本生成和摘要等任务产生了强烈的影响，但它们在AD中的潜力还没有得到足够的研究。本文介绍了AD-LLM，这是第一个评估LLM如何帮助NLP异常检测的基准。我们研究了三个关键任务：（i）零样本检测，使用LLM的预训练知识在没有特定任务训练的情况下执行AD；
基于学习的人工智能（1）为什么学习？
致力于大数据+AI 的应用创新。
11-24 218
学习是人类最重要的认知活动之一，贯穿我们的一生。出生后，我们无时无刻不在学习：从父母那里学说话，自己尝试走路，从小伙伴那里学会折纸飞机，从老师那里学到语文、数学等各种知识。研究人员始终将光源和风扇放在同一侧，经由学习，玉米幼苗逐渐学会了“有风的地方就会有光”的规律。之后，研究人员移去光源，并改变风扇方向，玉米幼苗依然按照所学知识，向风扇方向生长。1959 年，美国计算机学家亚瑟·塞缪尔设计了一款可以自我学习的跳棋程序，并将这一新方法称为“机器学习”，从而开启了机器自我学习的道路。
三大空间信息焕新：辉视让酒店服务、教育通知、监所管控更智能高效
CalebLXL的博客
11-24 281
走访这些场所后我发现，系统的真正价值不在于那些炫目的屏幕，而在于它构建了一套"空间信息免疫系统"——就像人体淋巴网络般，能智能识别各区域的信息需求，精准输送"营养"，快速清除"毒素"。当我们在酒店大堂不再错过末班机场大巴，在学校走廊偶遇恰好需要的竞赛通知，甚至在高墙内获得规整的信息权时，或许该重新思考：所谓智能化，本质是对空间信息代谢效率的一次外科手术式改造。这种荒诞的割裂感，正是传统信息分发模式崩溃的缩影——直到我最近走访数家采用辉视系统的场所，才意识到我们早已进入"精准信息触达"的新纪元。
（116页PPT）关于5G和新基建赋能智慧工地整体解决方案（附下载方式）
最新发布
2501_92808811的博客
11-25 238
在整体架构方面，方案以“5G智慧工地平台”为核心，依托多类感知设备（如传感器、摄像头、AI眼镜、智能安全帽等）采集数据，通过5G网络实时回传至云平台，再借助大数据、云计算、人工智能等技术进行分析处理，最终在PC、手机、监控大屏等多终端进行可视化展示。此外，文件还详细列举了传统智慧工地子系统（如深基坑监测、升降机监控、扬尘噪音监测、智能水电计量等）的功能与部署方式，并补充了如5G企业专网、实测机器人、智慧科技体验中心等延伸应用，体现出方案的系统性与前瞻性。详细资料请看本解读文章的最后内容。
中国计算机学会（CCF）推荐学术会议-A（人工智能）：ACL 2026
iaast的博客
11-24 375
大会官网：https://2026.aclweb.org/录用率：20.3%（1699/8360，2025年）时间地点：2026年7月2日-加州·美国。截稿时间：2026年1月5日。CCF推荐：A（人工智能）
2025企业微信AI落地新趋势：微盛AI·企微管家破解内外增长难题
weisheng00的博客
11-24 620
2025年企业微信AI落地的三大关键趋势：微盛AI·企微管家通过智能客服、精准营销和内部协作三大场景，帮助企业实现200%的客服效率提升、90%的报修响应提速和50%的员工效能增长。作为企业微信生态最大ISV服务商，微盛依托"AI+SCRM"双引擎，已服务160家500强企业，提供合规AI聊天Agent、生态闭环整合及私有化部署方案，有效解决数据孤岛问题，90%客户在3个月内实现AI能力全员覆盖。
RAG 的诞生：为了让 AI 不再“乱编”
weixin_44876263的博客
11-24 261
RAG全称，中文为“检索增强生成”。其核心思想是：在生成答案时，不仅依赖大模型内部的训练知识，还能够实时访问外部知识库或文档，从而生成更加准确和可靠的内容。就像一个学生回答问题，不仅依靠自己记忆，还会去图书馆查资料，然后结合记忆和查到的资料回答问题。你问模型：“请告诉我最新的新能源补贴政策。纯模型可能只靠训练记忆，回答的是过时或模糊的信息。RAG 模型会先去查最新政策文件，再结合训练知识生成答案，因此更准确。检索资料：先找到相关文档或信息。结合生成：把找到的资料和问题一起输入模型，让模型生成答案。
基于华为开发者空间实现花卉识别
优快云高校俱乐部官方博客
11-21 1847
基于华为开发者空间实现花卉识别
人工智能在医疗行业的革命性应用：从诊断到个性化治疗
2501_94114442的博客
11-21 492
人工智能（AI）技术近年来已经渗透到各个行业，其中，医疗行业无疑是受益最大之一。从疾病的早期诊断到个性化治疗方案的制定，AI正在加速医学领域的变革。通过机器学习、深度学习、自然语言处理等技术，AI不仅能够处理和分析大量的医疗数据，还能够帮助医生做出更加精准的决策，提升患者的治疗效果，并优化整个医疗体系的运作效率。本文将探讨人工智能在医疗行业的应用，分析其在不同医疗领域的具体作用，并展望AI如何进一步推动医疗健康行业的发展。
xrally-docker: 在Docker上运行xRally工作负载的插件集合
- **Benchmarking-Framework**：针对基准测试的框架，能够帮助开发者和测试人员创建和管理测试案例和测试流程。 - **Rally**：一个开源的性能测试和基准测试框架。 - **Xrally**：专注于使用Rally进行自动化测试的...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值