多模态大模型学习路线

原创 已于 2025-04-05 14:48:43 修改 · 1k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#学习

于 2025-04-05 14:22:08 首次发布

学习目标

  • 多模态大模型（MLLMs）系统知识

学习内容

1. 主流多模态大模型

2. MLLMs 数据工程

3. MLLMs 训练（预训练、后训练、继续训练）

4. MLLMs 微调技术

6. MLLMs 检索增强（MLLMs RAG）

7. MLLMs 推理与加速

8. MLLMs 信息处理技术（表征学习、模态对齐、检索、转换、跨模态融合）

9. MLLMs 评测体系

10. MLLMs 实践项目

学习平台

最低0.47元/天 解锁文章
一文读懂「MLLM，Multimodal Large Language Model」多模态大语言模型
女王の专属领地
01-09 8845
模态是事物的一种表现形式，多模态通常包含两个或者两个以上的模态形式，是从多个视角出发对事物进行描述。生活中常见多 模态表示，例如传感器的数据不仅仅包含文字、图像，还可以包括与之匹配的温度、深度信息等。使用多模态数据能够使得事物呈现更加立体、全面，多模态研究成为当前研究重要方面，在情感分析、机器翻译、自然语言处理 和生物医药前沿方向取得重大突破。MLLM通常以大语言模型(Large Language Model，LLM)为基础，融入其它非文本的模态信息，完成各种多模态任务。MLLM定义为“
大模型学习路线之多模态模型
2401_86435672的博客
10-07 2032
​ （Frankly speaking，博主太懒了）章节一只对CLIP、BLIP、BLIP2、InstructBLIP进行了整理，章节二以CLIP、VisualGLM作为实践案例。​ 实际上多模态模型除了CLIP、BLIP、BLIP2、InstructBLIP，还有LLaVA、miniGPT4，以及国内清华的VisualGLM、阿里的Qwen-VL等。（更多多模态原理可以看文末的参考说明）一、多模态模型 & 理论。
大模型学习路径之多模态模型学习路线分享，很强很全！
2401_84494441的博客
12-02 3430
（Frankly speaking，博主太懒了）章节一只对CLIP、BLIP、BLIP2、InstructBLIP进行了整理，章节二以CLIP、VisualGLM作为实践案例。实际上多模态模型除了CLIP、BLIP、BLIP2、InstructBLIP，还有LLaVA、miniGPT4，以及国内清华的VisualGLM、阿里的Qwen-VL等。（更多多模态原理可以看文末的参考说明）一、多模态模型 & 理论。
多模态大模型（从0到1）
shinuone的博客
06-24 2252
多模态大模型（Multimodal Large Model）是指具备大规模参数量与预训练能力，能够同时感知、理解、融合与生成来自多种模态数据（如：视觉模态〔图像/视频〕、语言模态〔文本/语音〕、传感模态〔激光雷达、深度图、红外线等〕）的人工智能模型。
大模型学习路线入门实战项目推荐：多模态大模型、医学人工智能与大模型、数字人定制
m0_63171455的博客
12-03 2045
依托 aistudio 平台内容，章节一呈现了一个入门级demo（小白友好），以VisualGLM（多模型大模型）为例实现了图生文；章节二呈现了一个进阶版demo（适合有一定LLM基础的人群食用），以文心大模型（LLM+RAG）为例实现了金融知识库问答（参考aistudio上精品项目）；章节三推荐了数个综合级、系统化的项目（适合从事/预从事 LLM/AIGC 岗的人群食用），把每个项目深挖吃透后，基本可以从事相关岗。
​浅析多模态大模型技术路线梳理
aolan123的博客
09-05 2466
前段时间 ChatGPT 进行了一轮重大更新：多模态上线，能说话，会看图！微软发了一篇长达 166 页的 GPT-4V 测评论文，一时间又带起了一阵多模态的热议，随后像是 LLaVA-1.5、CogVLM、MiniGPT-5 等研究工作紧随其后，到处刷屏。大模型的多模态能力到底是怎么来的？今天来分享一下多模态相关的一些工作和个人的理解。CLIP 是由 OpenAI 在 2021 年提出的预训练模型，用于评估给定图像与给定文本描述的匹配程度。该模型使用大量（约 4 亿）从网页中爬取的图像-文本对(pair)数
多模态大模型是新一代人工智能技术范式
热门推荐
weixin_43178406的博客
05-02 5万+
 本文主要介绍了推开通用人工智能大门，多模态大模型是新一代人工智能技术范式，希望能对学习大模型的同学们有所帮助。 文章目录 1. 前言 2. 书籍推荐 2.1 内容简介 2.2 本书作者 2.3 本书目录 2.4 适合读者
多模态大模型完全指南：从入门到实践的全景学习路线
深耕嵌入式领用多年， 致力于分享嵌入式领域技术!
02-25 1309
多模态大模型完全指南：从入门到实践的全景学习路线
多模态大模型技术白皮书 2024
2401_85379281的博客
08-06 1798
不同于语言大模型只对文本进行处理，多模态大模型将文本、语音、图像、视频等多模态数据联合起来进行学习。多模态大模型融合了多种感知途径与表达形态，能够同时处理和理解来自不同感知通道（例如视觉、听觉、语言和触觉等）的信息，并以多模态的方式表达输出。现有的多模态大模型主要有面向理解任务的、面向生成任务的、兼顾理解和生成的、知识增强的多模态大模型。面向理解任务的多模态大模型，其核心结构通常是 基于Transformer 的编码器。按照模型结构的不同，面向理解任务的多模态大模型又可再分为单流和多流两种结构。
13个开源多模态大模型汇总！
2401_84204207的博客
03-17 6598
近年来，多模态大模型（Multimodal Large Language Models, MLLMs）在人工智能领域取得了显著的进展，特别是在自然语言处理、计算机视觉和多模态理解方面。这些模型能够理解和生成多种类型的数据，如文本、图像、音频和视频，为多模态学习和应用提供了强大的工具。今天给大家汇总了13个开源多模态大模型，这些模型在各自的领域中刷新了多个SOTA记录，每个模型都将附上相关的论文和代码，一起看看多模态大模型的最新研究成果吧！NExT-GPT：任意对任意多模态 LLM。
SOTA多模态大模型！13个开源模型汇总，附论文和代码_开源多模态大模型
2401_85377976的博客
07-10 4850
近年来，多模态大模型（Multimodal Large Language Models, MLLMs）在人工智能领域取得了显著的进展，特别是在自然语言处理、计算机视觉和多模态理解方面。这些模型能够理解和生成多种类型的数据，如文本、图像、音频和视频，为多模态学习和应用提供了强大的工具。今天给大家汇总了13个开源多模态大模型，这些模型在各自的领域中刷新了多个SOTA记录，每个模型都将附上相关的论文和代码，一起看看多模态大模型的最新研究成果吧！论文PDF和开源代码都整理好了😝有需要的小伙伴，可以保存图片到。
Javaweb 学习笔记——html+css
hssfscv的博客
12-18 906
以上是Javaweb中关于前端html和css的相关内容，主要制作了两个页面，了解了如何使用AI生成我们需要的内容，有利于了解前端知识，接下来将进行剩余前端知识的学习
日语学习-日语知识点小记-构建基础-JLPT-N3阶段-二阶段（29）：第八科文法
qq_22146161的博客
12-16 835
自己在今年，在日本留学中，目前在语言学校，我自己不是那种一学什么的都能会的人，只能依靠自己一点一点积累，学习也分为很多种，自己跟着课本学是一种方法，如果记录下来，整理好，教给别人也是一种方式，我希望，以后每天一篇小的日语知识点小记，来构建基础，同时也可以帮助他人。如果您喜欢这个系列，请关注一下，您的关注，就是我持续创作的动力。
Java 学习路线及学习周期
前端金牌摸鱼达人
12-17 1624
Java 学习路线及学习周期
Ape.Volo项目源码学习（4：限流设置）
gc_2299的博客
12-20 179
学习并记录项目中接口限流的用法。
Linux C/C++ 学习日记（57）：定时器
最新发布
2302_79943247的博客
12-21 175
本文介绍了定时器的实现原理与代码示例。定时器是管理大量延时任务的模块，通过高效的数据结构（如红黑树、最小堆）组织任务，并使用IO多路复用（如epoll_wait）触发机制。文中采用红黑树存储定时任务，利用steady_clock确保时间单调性，通过emplace_hint优化插入效率。代码实现了添加/删除定时任务、检测触发和执行回调等功能，最终演示了结合epoll处理定时任务的完整流程。该方案兼顾了IO事件和定时任务处理，避免了sleep等低效方法。
【每天一个AI小知识】：什么是多模态学习？
码道源码
12-20 593
多模态学习是人工智能的重要分支，让AI能同时处理文本、图像、音频等多种数据形式。本文系统介绍了多模态学习的概念、发展历程、核心技术（如模态融合、对比学习）、主流模型（CLIP、GPT-4、Gemini等）及其在智能助手、内容创作等领域的应用。文章还探讨了当前面临的模态异质性、数据稀缺性等挑战，并展望了全模态学习、实时理解等未来趋势。多模态学习正推动AI向更接近人类智能的方向发展，同时也引发了对智能本质、人机关系等哲学思考。
后端springboot框架入门学习--第一篇
m0_65853019的博客
12-15 588
的。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值