A Survey of Multimodal Large Language Model from A Data-centric Perspective

最新推荐文章于 2025-11-24 18:29:32 发布
最新推荐文章于 2025-11-24 18:29:32 发布
阅读量2.3k 收藏 1
点赞数 2
CC 4.0 BY-SA版权
分类专栏： Survey Paper LLM Daily Multimodal 文章标签： 语言模型 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/143258171

在这里插入图片描述

本文是LLM系列文章，针对《A Survey of Multimodal Large Language Model from A Data-centric Perspective》的翻译。

以数据为中心的多模态大型语言模型综述

摘要

多模态大型语言模型 （MLLM） 通过集成和处理来自多种模态（包括文本、视觉、音频、视频和 3D 环境）的数据来增强标准大型语言模型的功能。数据在这些模型的开发和改进中起着关键作用。在这项调查中，我们从以数据为中心的角度全面回顾了有关 MLLM 的文献。 具体来说，我们探索了在 MLLM 的预训练和适应阶段准备多模态数据的方法。此外，我们还分析了数据集的评估方法，并回顾了评估 MLLM 的基准。我们的调查还概述了未来潜在的研究方向。这项工作旨在为研究人员提供对 MLLM 数据驱动方面的详细理解，促进该领域的进一步探索和创新。

1 引言

2 背景和分类

3 数据收集和处理

4 以数据为中心的预训练

5 以数据为中心的自适应

6 评估

7 未来方向

了解本专栏 订阅专栏 解锁全文 超级会员免费看
A Survey of Multimodal Large Language Model from A Data-centric Perspective——论文精读
weixin_60302661的博客
11-27 832
近年来，大语言模型（LLMs）和多模态大语言模型（MLLMs）快速发展。大多数现有的多模态大语言模型集中于通过修改模型架构来探索利用多模态信息。但数据同样对多模态大语言模型的成功起着重要作用。然而，关于多模态大语言模型的数据策划与利用的全面研究仍然匮乏，因此，本研究旨在以数据中心视角提供多模态大语言模型的全面理解。本文的关注点在于如何利用数据模态的异质性、增强数据结构、增加数据量并提高数据质量，以增强多模态大语言模型的能力。三个关键问题：如何收集、选择和管理多模态大语言模型的数据？
论文阅读 A Survey of Large Language Models 1
赫凯的博客
04-05 1688
讨论了机器语言智能的发展，特别是大规模预训练语言模型（PLMs）。该综述详细介绍了语言模型从统计语言模型，神经语言模型到预训练语言模型（PLMs）的演变。作者强调，大规模LLM超出某一参数大小的模型扩展导致了新的能力的出现。这种现象导致了强大的人工智能聊天机器人的创建，例如ChatGPT，可以解决复杂的任务，展现了与人类极佳的对话能力。该综述强调了评估和了解LLMs的性能的必要性，包括它们的预训练、适应性调整、利用和容量评估。
大型语言模型如何处理复杂心理和情感状态推理？
AI_Conf的博客
06-04 1520
大模型(LLM)是一种人工智能模型，旨在理解和生成人类语言。它们在大量的文本数据上进行训练，可以执行广泛的任务，包括文本总结、翻译、情感分析等等。LLM的特点是规模庞大，包含数十亿的参数，帮助它们学习语言数据中的复杂模式。这些模型通常基于深度学习架构，如转化器，这有助于它们在各种NLP任务上取得令人印象深刻的表现。
多模态大语言模型arxiv论文略读（六十九）
Jamence的博客
05-11 1085
本文从数据驱动的角度全面回顾了MLLMs的文献，探讨了预训练和适应阶段的多模态数据准备方法，分析了数据集的评估方法，并回顾了评估MLLMs的基准。具体包括数据收集的来源、数据处理的方法（如过滤、去重和增强）、数据选择的方法（如主动学习、分布无关和分布相关选择），以及数据评估的方法和评估基准。➡️ 实验设计：本文没有具体描述实验设计，而是通过文献回顾的方式，总结了不同阶段的数据处理方法和评估标准，包括数据收集的来源、数据处理的方法、数据选择的方法，以及数据评估的方法和评估基准。
每日学术速递4.3
与君共勉，一起学习
04-03 1709
标题：大型语言模型综述作者：Wayne Xin Zhao, Kun Zhou, Junyi Li, Tianyi Tang, Xiaolei Wang, Yupeng Hou, Yingqian Min, Beichen Zhang,etc文章链接：https://arxiv.org/abs/2303.18223摘要： 语言本质上是一个复杂、错综复杂的人类表达系统，受语法规则支配。开发用于理解和掌握语言的有能力的 AI 算法是一项重大挑战。作为一种主要方法，语言建模在过去二十年中被广泛研究用于
一文可视化分析2025年6月计算机视觉顶刊IJCV前沿热点
audyxiao001的博客
08-08 1183
本文可视化分析了计算机视觉顶刊《International Journal of Computer Vision》2025年6月前沿热点，方便读者参考。
AAAI-2024-卫星遥感图像相关论文 20篇
weixin_42155685的博客
10-14 1600
文章解读: http://www.studyai.com/xueshu/paper/detail/2deb4c9ca3文章链接: (10.1609/aaai.v38i8.28710)High-dimensional images, known for their rich semantic information, are widely applied in remote sensing and other fields. The spatial information in these images re
基于学习的人工智能（1）为什么学习？
致力于大数据+AI 的应用创新。
11-24 214
学习是人类最重要的认知活动之一，贯穿我们的一生。出生后，我们无时无刻不在学习：从父母那里学说话，自己尝试走路，从小伙伴那里学会折纸飞机，从老师那里学到语文、数学等各种知识。研究人员始终将光源和风扇放在同一侧，经由学习，玉米幼苗逐渐学会了“有风的地方就会有光”的规律。之后，研究人员移去光源，并改变风扇方向，玉米幼苗依然按照所学知识，向风扇方向生长。1959 年，美国计算机学家亚瑟·塞缪尔设计了一款可以自我学习的跳棋程序，并将这一新方法称为“机器学习”，从而开启了机器自我学习的道路。
中国计算机学会（CCF）推荐学术会议-A（人工智能）：ACL 2026
iaast的博客
11-24 337
大会官网：https://2026.aclweb.org/录用率：20.3%（1699/8360，2025年）时间地点：2026年7月2日-加州·美国。截稿时间：2026年1月5日。CCF推荐：A（人工智能）
2025企业微信AI落地新趋势：微盛AI·企微管家破解内外增长难题
最新发布
weisheng00的博客
11-24 567
2025年企业微信AI落地的三大关键趋势：微盛AI·企微管家通过智能客服、精准营销和内部协作三大场景，帮助企业实现200%的客服效率提升、90%的报修响应提速和50%的员工效能增长。作为企业微信生态最大ISV服务商，微盛依托"AI+SCRM"双引擎，已服务160家500强企业，提供合规AI聊天Agent、生态闭环整合及私有化部署方案，有效解决数据孤岛问题，90%客户在3个月内实现AI能力全员覆盖。
RAG 的诞生：为了让 AI 不再“乱编”
weixin_44876263的博客
11-24 219
RAG全称，中文为“检索增强生成”。其核心思想是：在生成答案时，不仅依赖大模型内部的训练知识，还能够实时访问外部知识库或文档，从而生成更加准确和可靠的内容。就像一个学生回答问题，不仅依靠自己记忆，还会去图书馆查资料，然后结合记忆和查到的资料回答问题。你问模型：“请告诉我最新的新能源补贴政策。纯模型可能只靠训练记忆，回答的是过时或模糊的信息。RAG 模型会先去查最新政策文件，再结合训练知识生成答案，因此更准确。检索资料：先找到相关文档或信息。结合生成：把找到的资料和问题一起输入模型，让模型生成答案。
基于华为开发者空间实现花卉识别
优快云高校俱乐部官方博客
11-21 1798
基于华为开发者空间实现花卉识别
人工智能在医疗行业的革命性应用：从诊断到个性化治疗
2501_94114442的博客
11-21 486
人工智能（AI）技术近年来已经渗透到各个行业，其中，医疗行业无疑是受益最大之一。从疾病的早期诊断到个性化治疗方案的制定，AI正在加速医学领域的变革。通过机器学习、深度学习、自然语言处理等技术，AI不仅能够处理和分析大量的医疗数据，还能够帮助医生做出更加精准的决策，提升患者的治疗效果，并优化整个医疗体系的运作效率。本文将探讨人工智能在医疗行业的应用，分析其在不同医疗领域的具体作用，并展望AI如何进一步推动医疗健康行业的发展。
【NullSwap】NullSwap: Proactive Identity Cloaking Against Deepfake
人生不是轨道，是旷野。希望每天都有好心情。
11-23 236
由于生成模型的进步，被动检测高质量Deepfake图像的性能瓶颈，主动扰动提供了一种有前途的方法，通过将信号插入良性图像来禁用Deepfake操作。【生成模型的发展，使得生成高质量伪图越来越难被检测】然而，现有的主动扰动方法在以下几个方面仍然不能令人满意：【当前主动扰动存在的问题】1）由于直接元素添加而导致的视觉退化;2）对交换操纵的有效性有限;3）不可避免地依赖于白盒和灰盒设置，以在训练期间涉及生成模型。我们分析了深度伪造swap技术的本质，并论证了保护源身份而非目标图像的必要性。
【字节跳动 AI 原生 IDE TRAE 】
youngerwang的博客
11-22 698
字节跳动推出的AI原生IDE TRAE是国内首款协作级AI开发工具，采用"交互层-智能层-协议层-生态层"四层架构，支持SOLO智能自主开发模式和多模态交互。核心功能包括：1）SOLO模式支持需求分析、工具调度和全流程自动化开发；2）双模式交互系统兼顾精细控制和快速原型开发；3）多模态交互支持语音、图像和代码片段输入；4）开放的智能体生态系统。TRAE深度融合大模型能力，在前后端开发中展现出高效代码生成和自动化能力，并通过MCP协议实现安全工具调用。产品迭代迅速，216天发布63个版本，
EAGLE-2：通过动态草稿树加速语言模型推理
11-24 51
现代 Large Language Models（LLMs）的推理过程既昂贵又耗时，而 speculative sampling 已被证明是一种有效的解决方案。大多数 speculative sampling 方法（例如 EAGLE）使用静态的 draft tree，并默认 draft token 的接受率仅依赖于其位置。有趣的是，我们发现 draft token 的接受率也依赖于上下文。本文在 EAGLE 的基础上提出了，该方法引入了一种新的技术用于 draft 建模。
宇树G1-D：人形机器人下一步方向！
Charlie_Mo的博客
11-21 1053
宇树科技推出G1-D人形机器人工作站全栈解决方案，实现从硬件平台向"硬件+数据+AI"生态平台升级。该方案以G1-D为核心载体，为AI模型开发提供强力支撑，可应用于制造业等场景，提升生产精度和效率。在AI技术快速发展的背景下，掌握基于G1-D的AI开发技能将增强就业竞争力。这一创新方案为行业搭建AI训练基础设施，推动技术进步，展现未来发展潜力。
强化学习人形机器人奖励函数分析
ModestCoder_的博客
11-23 593
PPO (Proximal Policy Optimization) 是一种 Actor-Critic 架构算法。奖励函数是整个学习过程的指挥棒。学习预测未来的累积回报（Return）。用于处理物理限制的软约束，形式通常为单边损失（Hinge Loss）。，作为 Cost/Penalty 使用，用于约束能量和保持稳定。以下是代码中各个奖励项的数学表达及其物理含义分析。形式，旨在最大化机器人对指令的跟随精度。这种设计是现代机器人控制领域的标准范式。形式，在总奖励计算中通常会被赋予。
5G与人工智能：相辅相成推动未来智能化世界
2501_94108919的博客
11-21 938
近年来，5G和人工智能（AI）被视为数字时代的两大核心技术，它们不仅各自推动了技术进步，还在相互结合的过程中，带来了革命性的变革。例如，在智能制造中，AI可以基于5G传输的生产数据，实时调整生产线，优化生产效率，减少停机时间。比如，通过5G网络连接的智能穿戴设备可以实时监测患者的生命体征，并通过AI分析数据，为医生提供决策支持，甚至进行远程手术指导。5G网络的普及需要大量的基站和基础设施建设，而AI的应用则要求更高的计算能力和更低的延迟，这对硬件的要求非常高。
a survey on multimodal large l
03-14
### 关于多模态大模型的研究概述 多模态大语言模型（Multimodal Large Language Models, MLLMs）近年来成为人工智能领域的重要研究方向之一。这些模型能够处理多种数据形式，如文本、图像、音频和其他传感器输入，从而实现更加复杂的任务解决能力[^1]。 #### 自动驾驶中的多模态大语言模型 在自动驾驶场景下，MLLMs 的应用尤为突出。它们可以融合来自摄像头、激光雷达和毫米波雷达等多种传感器的数据，提供全面的环境感知能力。一篇重要的综述文章《A Survey on Multimodal Large Language Models for Autonomous Driving》详细探讨了这一领域的进展及其挑战[^2]。该文章不仅涵盖了自动驾驶技术的发展历程，还分析了多模态语言模型如何逐步融入到自动驾驶系统中，并提出了未来可能的研究方向。 #### 数据集与基准测试 为了推动多模态大语言模型的进步，研究人员创建了许多公开可用的数据集和评估标准。例如，在自动驾驶领域，特定的任务驱动型数据集被用来验证模型的有效性和鲁棒性。这些资源对于促进学术界和工业界的协作至关重要[^3]。 #### 跨语言支持的重要性 尽管目前大多数先进的大型语言模型主要专注于单一语言（通常是英语），但也有不少努力旨在构建具备跨语言功能的版本。比如 VisCPM 和 Qwen-VL 这样的项目展示了通过精心设计的训练策略来增强模型对不同自然语言的支持程度的可能性。 ```python # 示例代码展示如何加载一个多模态预训练模型并执行推理操作 from transformers import AutoProcessor, CLIPModel model_name = "openai/clip-vit-base-patch32" processor = AutoProcessor.from_pretrained(model_name) model = CLIPModel.from_pretrained(model_name) image_url = "https://example.com/sample_image.jpg" text_input = ["a photo of a cat", "a photo of a dog"] inputs = processor(text=text_input, images=image_url, return_tensors="pt", padding=True) outputs = model(**inputs) logits_per_image = outputs.logits_per_image # this is the image-text similarity score probs = logits_per_image.softmax(dim=1) # we can take the softmax to get probability distribution over texts print(probs) ``` 上述代码片段演示了一个简单的例子，说明如何利用现有的开源工具包加载预先训练好的多模态模型来进行基本推断。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值