阅读笔记-MM-LLMs: Recent Advances in MultiModal Large Language Models

最新推荐文章于 2025-07-22 15:46:31 发布
最新推荐文章于 2025-07-22 15:46:31 发布
阅读量746 收藏 6
点赞数 5
CC 4.0 BY-SA版权
文章标签： 笔记 语言模型 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/yalecaltech/article/details/136471559
本文综述了多模态大型语言模型MM-LLMs的发展，强调了传统方法的挑战，如高计算成本和效率低下。作者提出了利用预训练LLMs增强多模态支持的策略，并详细描述了模型架构、训练流程和未来发展方向，包括实时跟踪平台。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在这里插入图片描述

研究背景： 随着多模态大型语言模型（MM-LLMs）的发展，它们在多种下游任务中取得了显著的性能提升。然而，随着模型规模和数据集的不断扩大，传统的多模态模型在从头开始训练时面临着巨大的计算成本。为了解决这一问题，研究者们开始利用现有的预训练单模态基础模型，特别是强大的大型语言模型（LLMs），以成本效益高的训练策略来增强多模态输入或输出的支持。这种策略旨在减轻计算开销，提高多模态预训练的效率，从而推动了MM-LLMs这一新兴领域的发展。

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

过去方案和缺点： 以往的多模态模型在训练时通常需要从头开始，这不仅计算成本高，而且在处理多模态数据时存在效率低下的问题。此外，这些模型在指令遵循、零样本学习、上下文学习（ICL）和交互能力方面存在不足。此外，传统的训练流程仅包括预训练（PT）阶段，而没有包含指令微调（IT）阶段，限制了模型的灵活性和适应性。
本文方案和步骤： 本文提出了一种全面的研究调查，旨在促进MM-LLMs的进一步研究。首先，文章概述了模型架构和训练流程的一般设计公式。然后，介绍了一个包含122个MM-LLMs的分类体系，每个模型都有特定的公式特征。此外，文章回顾了选定的MM-LLMs在主流基准测试上的性能，并总结了关键的训练配方以增强MM-LLMs的效能。最后，文章探

最低0.47元/天 解锁文章

200万优质内容无限畅学
Elwood Ying
关注
MM-LLMs: Recent Advances in MultiModal Large Language Models
步子哥的博客
01-25 1221
论文从现有的SOTA（State-of-the-Art）模型中提取了关键的训练策略，如图像分辨率、SFT数据的质量和PEFT（Parameter-Efficient Fine-Tuning）方法的应用，以揭示提升MM-LLMs效能的有效方法。：随着模型规模和数据集的不断扩大，传统的多模态模型在从头开始训练时面临巨大的计算成本。：论文回顾了主流MM-LLMs在主流基准测试上的性能，并总结了关键的训练策略，如使用高质量的SFT数据、提高图像分辨率、以及在SFT中重新混合文本数据等，以提升模型的有效性。
一文读懂「MLLM，Multimodal Large Language Model」多模态大语言模型
女王の专属领地
01-09 7116
模态是事物的一种表现形式，多模态通常包含两个或者两个以上的模态形式，是从多个视角出发对事物进行描述。生活中常见多 模态表示，例如传感器的数据不仅仅包含文字、图像，还可以包括与之匹配的温度、深度信息等。使用多模态数据能够使得事物呈现更加立体、全面，多模态研究成为当前研究重要方面，在情感分析、机器翻译、自然语言处理 和生物医药前沿方向取得重大突破。MLLM通常以大语言模型(Large Language Model，LLM)为基础，融入其它非文本的模态信息，完成各种多模态任务。MLLM定义为“
AI之MLM：《MM-LLMs: Recent Advances in MultiModal Large Language Models多模态大语言模型的最新进展》翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
01-27 5096
​ AI之MLM：《MM-LLMs: Recent Advances in MultiModal Large Language Models多模态大语言模型的最新进展》翻译与解读 目录 《MM-LLMs: Recent Advances in MultiModal Large Language Models》翻译与解读 Abstract摘要 1、Lntroduction引言 2、Model Architecture模型架构，五个组件 3、Tra
腾讯多模态大模型最新综述，从26个主流大模型看多模态效果提升关键方法
weixin_43564920的博客
01-29 5388
在腾讯 2024 数字科技前沿应用趋势中，强调了“通用人工智能渐行渐近，大模型走向多模态，AI智能体（Agent）有望成为下一代平台当下多模态大模型不仅仅是学界新宠，也是未来行业发展进步的一大方向，站在这篇综述的基础之上，期待我们可以更快更好的理解未来多模态大模型的发展，赶上这波通用人工智能的新浪潮！
MM-LLMs: Recent Advances in MultiModal Large Language Models MM-LLMs: 多模态大语言模型的新进展（一）
qq_55923034的博客
11-26 845
在过去的一年中，多模态大语言模型( MM-LLMs )取得了长足的发展，通过经济有效的培训策略，增加了现成的LLMs，以支持MM的输入或输出。由此产生的模型不仅保留了LLM固有的推理和决策能力，还赋予了MM任务多样化的能力。在本文中，我们提供了一个全面的综述，旨在促进MM - LLMs的进一步研究。首先，我们概述了模型架构和训练管道的一般设计公式。随后，我们介绍了一个包含126种MM - LLMs的分类学，每种MM - LLMs都有其特定的剂型。
大模型安全相关研究
CSPhD-winston的博客
09-11 1154
本文整理了关于大模型安全领域的综合性资源，包括7篇综述论文、9个安全数据集以及5篇强化学习相关的安全研究论文。主要涉及大模型的对抗攻击、隐私保护、安全评估等方向，涵盖TruthfulQA、ToxiGen等知名数据集和TrustLLM、HarmBench等关键研究。资源包括知乎博主分享、arXiv预印本和顶会论文，并附有详细的中文讲解链接，为研究者提供了系统性的安全研究参考。
【多模态大模型阅读笔记--1】多模态大模型入门，MLLM综述：MM-LLMs: Recent Advances in MultiModal Large Language Models
Mugi_jiang的博客
05-20 1488
- 归纳了现在多模态大模型的整体架构设计方向 - 提供了现有主流的 26 个多模态大模型 - 总结了提升多模态大模型性能的关键方法
多模态系列-综述MM-LLMs: Recent Advances in MultiModal Large Language Models
lansebingxuan的专栏
03-28 1706
在过去的一年中，多模态大型语言模型（MM-LLMs）取得了实质性的进展，通过高效的训练策略，增强了现成的语言模型，以支持多模态输入或输出。由此产生的模型不仅保留了语言模型的固有推理和决策能力，还赋予了多样化的多模态任务。在本文中，我们提供了一份旨在促进进一步研究多模态大型语言模型的综合调查。首先，我们概述了模型架构和训练流程的一般设计公式。随后，我们介绍了一个包含122个多模态大型语言模型的分类体系，每个模型都具有其特定的公式。
MM-LLMs: Recent Advances in MultiModal Large Language Models MM-LLMs: 多模态大语言模型的新进展（二）
qq_55923034的博客
11-26 989
—腾讯人工智能实验室、日本京都大学、阿联酋穆罕默德·本·扎耶德人工智能大学2024.2发布在arxiv 2024.8 发表在《Findings of the Association for Computational Linguistics: ACL 2024》上，属于中科院2区太长不看版-AI总结：在LLMs出现之前，已有多次对传统多模态预训练（MM PT）的调查。这些模型由于端到端训练需要大量计算资源，且在指令跟随、上下文学习（ICL）、思维链（CoT）和交互能力等方面存在不足。
多模态大语言模型调研《MM-LLMs: Recent Advances in MultiModal Large Language Models》简要介绍
qq_37261357的博客
04-03 1814
题目：MM-LLMs: Recent Advances in MultiModal Large Language Models论文：https://arxiv.org/pdf/2401.13601.pdf?项目主页：https://mm-llms.github.io/GPT诞生以来，一向以强大的自然语言处理能力而著称，人们试着将大型语言模型（Large Language Models，LLM）的强大推理和生成能力在除文本以外的模态数据上应用起来。例如图像、视频、音频、3D点云等。
MM-LLMs ：多模态大语言模型综述
u014546828的博客
08-10 1562
在过去一年中，多模态大型语言模型（MM-LLMs）取得了显著进展，通过成本效益高的训练策略，增强了现成的LLMs（大型语言模型），以支持多模态输入或输出。本文旨在通过全面综述，促进MM-LLMs领域的进一步研究。最后，本文在探索MM-LLMs未来发展方向的同时，还维护了一个实时跟踪网站1，以关注该领域的最新进展。此外，本文还回顾了部分MM-LLMs在主流基准测试中的表现，并总结了增强MM-LLMs效能的关键训练策略。随后，本文引入了一个包含126个MM-LLMs的分类体系，每个模型都有其特定的设计公式。
【LLM】多模态LLM综述MultiModal Large Language Models
发现问题，并解决问题，批判性思维
06-02 4315
note （一）现有的 MM-LLM 的趋势： (1)从专门强调 MM 理解对特定模态的生成的进展，并进一步演变为任何到任何模态的转换（例如，MiniGPT-4 → MiniGPT-5 → NExT-GPT）； (2) 从 MM PT 提升到 SFT，然后到 RLHF，训练管道进行连续细化，努力更好地与人类意图对齐并提高模型的会话交互能力（例如，BLIP-2 → InstructBLIP →DRESS）； (3) 实施多样化模态扩展（例如，BLIP-2 → X-LLM 和 InstructBLIP→X-In
综述 | 多模态 LLM，大模型的未来
idol24的博客
01-31 1706
本文来源 机器之心编辑部多模态大型语言模型进展如何？盘点 26 个当前最佳多模态大型语言模型。当前 AI 领域的关注重心正从大型语言模型（LLM）向多模态转移，于是乎，让 LLM 具备多模态能力的多模态大型语言模型（MM-LLM）就成了一个备受关注的研究主题。近日，腾讯 AI Lab、京都大学和穆罕默德・本・扎耶德人工智能大学的一个研究团队发布了一份综述报告，全面梳理了 MM-LLM 的近期进展...
腾讯发表多模态大模型最新综述，从26个主流大模型看多模态效果提升关键方法
夕小瑶科技说
01-29 1745
在腾讯 2024 数字科技前沿应用趋势中，强调了“通用人工智能渐行渐近，大模型走向多模态，AI智能体（Agent）有望成为下一代平台当下多模态大模型不仅仅是学界新宠，也是未来行业发展进步的一大方向，站在这篇综述的基础之上，期待我们可以更快更好的理解未来多模态大模型的发展，赶上这波通用人工智能的新浪潮！
多模态大模型（MM-LLMs）近期概述
qq_41458274的博客
07-30 1344
目的：MM-LLMs旨在减少计算费用并提高多模态预训练的效率, 因为从头开始训练时会产生大量的计算成本。挑战：如何有效地将LLM与其他模式的模型连接起来，实现协同推理是MM-LLM面临的核心挑战。焦点：多模态预训练(PT) + MM指令调优(IT)流程来优化模态之间的对齐并与人类意图对齐。
多模态大语言模型最新进展
weixin_41383129的博客
07-14 244
多模态大型语言模型（MM-LLMs）近期取得显著进步，通过有效训练策略，使模型能处理多模态输入输出，保留并增强语言模型的推理决策能力。MM-LLMs不仅限于文本，还能处理图像、视频和音频等其他模态数据，推动下游任务性能提升。MM-LLMs改进了训练流程，增强交互能力和采用更高效架构。其迭代包括从预训练到微调，再到基于人类反...
Matlab学习笔记：矩阵基础
最新发布
xnglan的博客
07-22 602
在MATLAB中，矩阵是一个二维数组，元素可以是数字、变量或表达式。例如，一个2×2矩阵有两行两列。矩阵是MATLAB的基石，几乎所有数据处理都基于它。创建矩阵：通过直接输入、函数（如zerosrand）和拼接。索引和切片：使用行号、列号和冒号访问元素。运算：包括算术、元素级、转置和逆运算。函数sizesumreshape等常用工具。矩阵是MATLAB的核心，掌握它能让数据处理高效直观。实际应用中，矩阵用于图像处理、信号分析和机器学习等领域。
20250718-2-Kubernetes 应用程序生命周期管理-Pod对象：基本概念(豌豆荚)_笔记
07-18 480
1）Pod基本概念定义：Pod是Kubernetes创建和管理的最小单元，一个逻辑抽象概念组成：由一个或多个容器组成特点：可理解为一个应用实例容器始终部署在同一个节点上容器间共享网络和存储资源设计灵感：类比豌豆荚结构，外层Pod抽象封装，内部容器如同豌豆颗粒。
如果我要复现SELF-CONTRADICTORY HALLUCINATIONS OF LLMS: EVALUATION, DETECTION AND MITIGATION论文里的代码，我要先下载什么软件
03-25
<think>好的，用户现在想要复现一篇关于大语言模型自相矛盾幻觉的论文中的代码，需要知道需要下载哪些软件。首先，我需要回想一下常见的复现机器学习论文代码所需的工具和环境。 首先，用户可能需要Python环境，因为大多数机器学习项目都是用Python写的。然后是深度学习框架，比如PyTorch或TensorFlow，这取决于论文中使用的是哪个。需要检查论文的代码仓库，比如GitHub，看看他们用的是哪个框架。 接下来，版本管理工具Git是必须的，用来克隆代码仓库。虚拟环境管理工具如Conda或venv也很重要，用来隔离项目依赖，避免版本冲突。安装依赖通常通过requirements.txt或者pip，所以需要pip。 然后，数据处理可能需要Jupyter Notebook或者VS Code这样的编辑器。如果涉及大规模数据处理，可能需要数据库如MySQL或PostgreSQL，不过不确定这篇论文是否需要。另外，如果代码需要GPU加速，CUDA和cuDNN也是必须的，但用户可能已经安装了这些，如果他们使用GPU的话。 用户可能还需要特定的自然语言处理库，比如Hugging Face的Transformers，因为论文可能基于预训练模型。还有数据集处理库如Datasets，评估指标库如Evaluate。日志管理可能用到Weights & Biases或者TensorBoard，但要看论文的具体配置。 用户的问题中还提到复现代码，可能需要安装论文中提到的特定模型或数据集，所以需要查看他们的文档。此外，Docker可能被用来容器化环境，方便复现，但这也取决于论文作者是否提供了Dockerfile。 我需要确保用户按照步骤来：先安装Python和包管理工具，然后克隆仓库，设置虚拟环境，安装依赖，处理数据和模型，最后运行代码。可能还需要注意版本兼容性问题，比如PyTorch版本与CUDA的匹配。 另外，用户可能遇到的问题包括依赖项版本冲突、缺少必要的系统库、数据集下载问题等，所以建议他们仔细阅读代码仓库的README，可能有详细的安装说明。如果遇到错误，查看issue页面或者联系作者。 最后，用户可能需要GPU资源，如果他们没有的话，可能需要考虑云服务比如Google Colab。不过这些都是后续步骤，当前问题主要是需要下载的软件列表，所以需要把这些关键点整理清楚，分步骤说明，确保用户能够逐步完成环境配置。</think>复现论文《SELF-CONTRADICTORY HALLUCINATIONS OF LLMS: EVALUATION, DETECTION AND MITIGATION》的代码时，需根据其开源代码库的具体要求准备环境。以下是一般性步骤和需要安装的软件/工具： --- ### **1. 基础环境** - **Python** 通常需安装Python 3.8+版本，建议通过[Anaconda](https://www.anaconda.com/)或[Miniconda](https://docs.conda.io/en/latest/miniconda.html)管理环境。 ```bash conda create -n self_contradictory python=3.8 conda activate self_contradictory ``` - **Git** 用于克隆代码仓库（如论文提供GitHub链接）： ```bash sudo apt-get install git # Linux ``` --- ### **2. 深度学习框架** - **PyTorch / TensorFlow** 根据论文代码依赖选择版本（通常需匹配CUDA驱动）： ```bash # PyTorch示例 pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu117 ``` - **Hugging Face Transformers** 若涉及预训练语言模型（如GPT、BERT等）： ```bash pip install transformers datasets evaluate ``` --- ### **3. 代码依赖** - **从代码仓库安装** 克隆仓库后，通过`requirements.txt`安装依赖： ```bash git clone [论文代码仓库URL] cd [仓库目录] pip install -r requirements.txt ``` --- ### **4. 数据处理工具** - **Jupyter / VS Code** 用于运行实验脚本或分析代码（可选）： ```bash pip install jupyterlab ``` - **Pandas / NumPy** 数据处理的常用库： ```bash pip install pandas numpy ``` --- ### **5. 模型与数据集** - **预训练模型权重** 根据论文要求下载模型（如Hugging Face Hub或作者提供的链接）： ```python from transformers import AutoModel, AutoTokenizer model = AutoModel.from_pretrained("gpt2-large") ``` - **实验数据集** 需按论文说明获取（可能需申请权限或从特定平台下载）。 --- ### **6. 其他工具** - **CUDA/cuDNN** 若使用GPU加速，需安装对应版本（需与PyTorch版本匹配）。 - **Docker**（可选） 若作者提供容器化配置，可用Docker快速部署环境： ```bash docker pull [作者提供的镜像名] ``` --- ### **注意事项** 1. **版本对齐** 严格匹配论文代码库中`requirements.txt`或文档中指定的版本（如PyTorch 1.13+）。 2. **硬件要求** 大语言模型（LLMs）实验通常需要GPU（如NVIDIA A100/V100）。 3. **代码调试** 关注仓库的`README.md`和`issues`，可能包含环境配置的额外说明。 建议先查阅论文的官方代码仓库（如GitHub）获取具体安装指南。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值