A Survey on Multimodal Large Language Models

已于 2023-07-05 15:04:36 修改
阅读量1.4k 收藏
点赞数 1
CC 4.0 BY-SA版权
分类专栏： Survey Paper 文章标签： 语言模型 人工智能 自然语言处理
于 2023-07-04 18:57:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/131536514
Survey Paper 同时被 2 个专栏收录
275 篇文章 ¥99.90 ¥299.90
订阅专栏 超级会员免费看
LLM 日更
828 篇文章

已下架不支持订阅

本文详细介绍了多模态大语言模型（MLLM）的最新研究，包括多模态指令调整（M-IT）、多模态上下文学习（M-ICL）、多模态思维链（M-CoT）和LLM辅助视觉推理（LAVR）。通过这些技术，MLLM在多模态任务中展现出强大的潜力，逐步迈向人工通用智能。文章还讨论了当前面临的挑战和未来的研究方向，为研究人员提供了全面的综述。

本文是LLM系列的文章之一，主要是讲解多模态的LLM。针对《A Survey on Multimodal Large Language Models》的翻译。

多模态大语言模型的综述

摘要

多模态大语言模型（MLLM）是近年来兴起的一个新的研究热点，它利用强大的大语言模型作为大脑来执行多模态任务。MLLM令人惊讶的新兴能力，如基于图像写故事和无OCR的数学推理，在传统方法中是罕见的，这表明了一条通往人工通用智能的潜在道路。在本文中，我们旨在追踪和总结MLLM的最新进展。首先，我们提出了MLLM的公式，并阐述了其相关概念。然后，我们讨论了关键技术和应用，包括多模式指令调整（M-IT）、多模式上下文学习（M-ICL）、多模态思想链（M-CoT）和LLM辅助视觉推理（LAVR）。最后，我们讨论了现有的挑战，并指出了有希望的研究方向。鉴于MLLM时代才刚刚开始，我们将不断更新这项调查，并希望它能启发更多的研究。收集最新论文的相关GitHub链接可在https://github.com/BradyFU/AwesomeMultimodal-Large-Language-Models.

1 引言

近年来，大型语言模型取得了显著进展。通过扩大数据大小和模型大小，这些LLM提高了惊人的涌现能力，通常包括上下文学习（ICL）、指令跟随和思想链（CoT）。尽管LLM在大多数自然语言处理（NLP）任务中表现出了令人惊讶的零/少样本推理性能，但它们天生对视觉“视而不见”，因为它们只能理解离散文本。与此同时，大型视觉基础模型在感知方面进展迅速，传统的与文本的结合更注重模态对齐和任务统一，在推理方面发展缓慢。
鉴于这种互补性，单模态LLM和视觉模型同时朝着彼此运行，最终导

了解本专栏 订阅专栏 解锁全文 超级会员免费看
A Survey on Multimodal Large Language Models for Autonomous Driving
c_cpp_csharp的专栏
12-26 598
随着大型语言模型（LLM）和视觉基础模型（VFM）的出现，受益于大型模型的多模态人工智能系统有可能像人类一样感知现实世界、做出决策和控制工具。近几个月来，LLM在自动驾驶和地图系统中得到了广泛关注。尽管其潜力巨大，但仍缺乏对LLM驾驶系统应用的关键挑战、机遇和未来努力的全面了解。在本文中，我们对这一领域进行了系统的研究。我们首先介绍了多模态大语言模型（MLLMs）的背景、使用LLM的多模态模型开发以及自动驾驶的历史。然后，我们概述了用于驾驶、运输和地图系统的现有MLLM工具以及现有的数据集和基准。
【论文阅读】A Survey on Multimodal Large Language Models
qq_58400270的博客
10-22 1783
多模态大语言模型（MLLM）是近年来以强大的大语言模型（LLM）作为大脑任务的多模态研究热点。MLLM令人惊讶的涌现能力，比如基于图像写故事和无ocr的数学推理，在传统方法中是罕见的，这表明了一条通往人工通用智能的潜在道路。本文旨在对MLLM的最新研究进展进行跟踪和总结。首先，我们提出了MLLM的公式，并描述了它的相关概念。然后，我们讨论了关键的技术和应用，包括多模态指令调整（M-IT）、多模态上下文学习（M-ICL）、多模态思维链（M-CoT）和llm辅助视觉推理（LAVR）。
【综述论文阅读】A Survey on Multimodal Large Language Models 上
weixin_46231495的博客
03-04 1182
综述又来啦，这篇综述24年的，来自1 中国科大科技学院、认知智能国家重点实验室2 腾讯优图实验室并建立了github项目指令（Instruction）是指任务的描述。直观来看，指令微调的目标是教会模型更好地理解用户的指令并完成所要求的任务。通过这种方式，LLM可以通过遵循新指令泛化到未见过的任务，从而提升零样本性能。
A Survey on Multimodal Large Language Models综述
机器学习，深度学习
07-16 1796
近期，以GPT-4V为代表的跨模态大型语言模型（MLLM）成为研究热点，它利用强大的大型语言模型（LLM）作为大脑执行跨模态任务。MLLM展现出如基于图像创作故事、OCR-free数学推理等令人惊讶的能力，这在传统跨模态方法中极为罕见，预示着通往通用人工智能的潜在路径。为此，学术界和产业界都在努力开发能与GPT-4V竞争甚至更好的MLLM，以惊人的速度推动研究极限。本文旨在追踪和总结MLLM的近期进展。
【多模态LLM】A Survey on Multimodal Large Language Models 学习笔记
kaka03200的博客
09-11 1049
多模态大语言模型（MLLM）是近年来以强大的大语言模型（LLMs）作为大脑任务的多模态研究热点。MLLM令人惊讶的涌现能力，比如基于图像写故事和无OCR的数学推理，在传统方法中是罕见的，这表明了一条通往人工通用智能的潜在道路。本文旨在对MLLM的最新研究进展进行跟踪和总结。首先，我们提出了MLLM的公式，并描述了它的相关概念。然后，我们讨论了关键的技术和应用，包括多模态指令调整（M-IT）、多模态上下文学习（M-ICL）、多模态思维链（M-CoT）和大语言模型辅助视觉推理（LAVR）。
A Survey on Multimodal Large Language Models论文解读
qq_61786525的博客
10-13 2055
指令：指任务的描述。指令调整目的：教导模型更好地理解用户指令并完成要求任务，从而使模型能够通过遵循新指令来泛化到未见任务，提高零样本性能。与相关学习范式比较：与监督式微调和提示工程相比，指令调整学习如何泛化到未见任务，而不是拟合特定任务。对齐调整通常用于需要模型与特定人类偏好对齐的场景，例如减少幻觉（hallucinations）的响应。目前，强化学习与人类反馈（RLHF）和直接偏好优化（DPO）是对齐调整的两种主要技术。
大型语言模型综述，非常详细，格局打开！A Survey of Large Language Models
大模型天花板
04-18 9531
从图灵测试开始讲起，人类一直在探索用机器掌握语言智能的方法。在过去20年，语言模型得到了广泛研究。从统计语言模型到了基于神经网络的语言模型（LSTM等）。最近这些年，通过在大规模语料库（数据集）上对Transformer模型的预训练，提出了预训练语言模型（PLMs），在解决各种自然语言处理（NLP）任务方面显示出了很强的能力。
论文阅读-《A Survey of Large Language Models》
Yogurtboyyy的博客
06-08 2267
LLM综述论文
多模态大语言模型综述来啦！一文带你理清多模态关键技术
夕小瑶科技说
06-30 1350
随着 ChatGPT 在各领域展现出非凡能力，多模态大型语言模型（MLLM）近来也成为了研究的热点，它，可以执行各种多模态任务。更让人感慨的是，，比如能够根据图像创作故事，无需 OCR 的数学推理等，这为实现人工智能的通用智能提供了一条潜在路径。也不乏有全面和前沿的综述出现，本文作者的目标是追踪和总结 MLLM 的最新进展。介绍了 MLLM 的并对相关概念概述，还深入讨论了。同时，他们也指出了当前研究中，并提出了一些有前景的。
中科大腾讯发布首篇《多模态大语言模型综述》
我爱计算机视觉
06-28 1506
关注公众号，发现CV技术之美项目链接(实时更新最新论文，已获1.8K Stars)：https://github.com/BradyFU/Awesome-Multimodal-Large-Language-Models近来，多模态大语言模型(Multimodal Large Language Model，MLLM)受到广泛关注，成为一个新兴的研究热点。MLLM通常以大语言模型(Large Lang...
全面了解多模态大语言模型 Multimodal Large Language Models，首个跟踪 MLLM 进展的论文集合...
我爱计算机视觉
06-02 2371
关注公众号，发现CV技术之美论文集合链接地址：https://github.com/BradyFU/Awesome-Multimodal-Large-Language-Models大语言模型 Large Language Models（LLM）强大的泛化和推理能力给计算机视觉领域带来了很多灵感和启发，从而开辟出多模态大语言模型 Multimodal Large Language Models（ML...
【论文解读系列】MLLM研究综述
JackCrum的博客
07-02 1986
多模态大语言模型(Multimodal Large Language Model, MLLM)是近年来兴起的一个新的研究热点，它利用强大的大语言模型作为大脑来执行多模态任务。MLLM令人惊讶的突发能力，如基于图像编写故事和无ocr数学推理，在传统方法中是罕见的，这表明了人工通用智能的潜在途径。在本文中，我们旨在追踪和总结最近的进展mllm。首先，我们提出了传销营销的概念，并对其相关概念进行了描述。
多模态大模型（mllm）论文Survey和一些思考
白乔专栏
12-05 732
1. 简介（Introduction） 自以gpt3为代表的大语言模型问世以来，纯文本模态的大模型和多种模态混合的多模态大模型都获得了迅速的发展，无论是学术界还是工业界。文本模态的大语言模型几乎学习了目前人类能够从公开渠道获取到的所有的文本数据，结合模型规模的扩大以及模型“涌现”能力，使得大语言模型的“智能”、“记忆”、“推理”、“对话”、“创作”等多方面的能力得到了长足的发展。互联网发展到今天，除了海量的文本数据之外，还产生了更多的多模态数据，如图文多模态数据、音视频、甚至于某些终端还包含了位姿信号、深
A Survey of Multimodal Large Language Model from A Data-centric Perspective——论文精读
weixin_60302661的博客
11-27 831
近年来，大语言模型（LLMs）和多模态大语言模型（MLLMs）快速发展。大多数现有的多模态大语言模型集中于通过修改模型架构来探索利用多模态信息。但数据同样对多模态大语言模型的成功起着重要作用。然而，关于多模态大语言模型的数据策划与利用的全面研究仍然匮乏，因此，本研究旨在以数据中心视角提供多模态大语言模型的全面理解。本文的关注点在于如何利用数据模态的异质性、增强数据结构、增加数据量并提高数据质量，以增强多模态大语言模型的能力。三个关键问题：如何收集、选择和管理多模态大语言模型的数据？
自动驾驶合集7
whaosoft143ai的博客
01-12 961
在自动泊车系统当中，可以使用GPS或者车辆自带的IMU传感器来确认车辆的速度和姿态并且纠正车辆的位置估计误差。但是在某些室内场景，是无法接收到GPS信号的。所以自动驾驶车辆就需要配备相机、激光雷达以及毫米波雷达进行辅助。下图是车辆上配备的一些传感器信息的介绍。激光雷达传感器使用激光来检测物体。现在主要流行的激光雷达主要分为16、32、64和128线的激光雷达。其测量范围约为200米，垂直视场为30到50度。相机传感器则可以大致分成单目、双目以及鱼眼类型。whaosoft aiot http://143ai.
a survey on multimodal large l
最新发布
03-14
一篇重要的综述文章《A Survey on Multimodal Large Language Models for Autonomous Driving》详细探讨了这一领域的进展及其挑战[^2]。该文章不仅涵盖了自动驾驶技术的发展历程，还分析了多模态语言模型如何逐步...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值