大模型应用-多模态和大模型是如何相互成就的

AI_小站 AI_小站 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 900+累计阅读 935平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄3年
关注
原创 最新推荐文章于 2026-03-31 09:37:45 发布 935 阅读 AI 写同款· GEO 优化 ›
多模态大模型：基础架构 多模态大型语言模型（MLLM）是人工智能领域的前沿创新，它结合了语言和视觉模型的功能，可以处理复杂的任务，如视觉问答和图像字幕。这些模型利用大规模预训练，集成了多种数据模态，以显著提高其在各种应用程序中的性能。 阅读详情

前言

如果单纯的将大模型用来聊天，那就是low了。

而多模态赋予了大模型更多的现实价值，大模型则助力多模态变得更强大。

多模态

我们所处的是一个物理世界，不同事物之间模态多种多样，即便是简单的文本，按照语言，格式都可以分很多个模态。

在实际使用中，多模态的场景往往需要模型微调，才可能满足需求。

我们这里还是主要看一下当前比较常用的基础多模态和支持的模型。

模态场景模型备注
文本nlp：自然语言处理
nlu:自然语言理解
nlg:自然语言生成gpt-3.5-turbo
gpt-4
语音asr：语音转文本
tts：文本转语音国外：微软，google平台都很好用
国内：讯飞，Paddle等也很好语音一般都是转成文本然后给到大模型
图片文生图
图生文
图编辑
图检索midjourney:最好的图片生成工具，没有之一
DALL·E:openai的模型，2和3都很好，功能强大
gpt-4-vision-preview:图片理解的模型
VisualBERT和ImageBERT：图片向量化图片和大模型可以玩的很花，下面详说
视频文生视频，视频理解待sora问世视频相关的结合较少，基建缺缺
代码代码生成和纠错`Codex` 已集成到gpt的模型中现在的基础大模型几乎都具备编程能力，并且被广泛集成到github copilot，VS Code这类工具中
embeddingRAG:检索增强开源的bert
openai的text-embedding-xxx系列
中文的m3e严格讲这不算一个模态，但RAG往往被单拎出来用
审计内容审计相关的场景，用于检测不安全内容openai的text-moderation-xx系列还记得我之前说的大模型安全问题吗，使用审计模型也是一种方向

典型场景

1. 漫画

我们可以利用大模型自动根据我们的剧情画漫画，它的实现流程大致如下：

  • 单智能体版本
  1. 创建一个漫画家agent
  2. 给这个漫画家添加一个文生图的tool
  3. 给它一段段剧情，自动生成漫画
  • 多智能体版本
  1. 创建一个漫画家agent，创建一个作家agent
  2. 给这个漫画家添加一个文生图的tool，给作家一个ttstool。
  3. 给作家一段概要，作家自动生成一段段剧情，并生成对应的语音
  4. 漫画家根据剧情画出漫画

2. 健身|减肥

在减肥的时候，是不是有这样的烦恼，不知道自己吃的这顿饭有多少卡路里？

我们可以在吃饭前，把食物拍下来，然后用图生文的能力解读出，当前食物所含有的卡路里。

3. 医疗

我生病时，最头疼的事情就是描述不出自己是什么病，也不知道用什么药。

亲身经历：有次早晨醒来，发现后槽牙龈肿了，吃不了饭，当时不知道是智齿冠周炎，去医院挂号排队，搞了一下午，开了一堆药。后来再出现这样的情况，我就直接网购阿莫西林胶囊和甲硝唑口含片，基本一两天就能好。省略一大笔冤枉钱和大把的时间。

现在想想，如果有大模型支持的医疗agent，借助图搜图的能力，我只需要对着口腔拍个照片，就能直接看病，抓药。

4. 法律助手

这是一个典型的embedding功能，在langchain框架上有现成的功能。实际应用中是非常普遍和广泛的。

比如当你在做某个事情，而不知道法律是如何规定的时候，用embedding功能对所有的法律条目进行召回，并用大模型进行总结和回复。

5. siri

这是一个较为复杂的场景，它集成苹果手机的基础功能，此时他的模态更加宽泛，是一个典型的大模型和多模态的应用场景。

尾语

多模态是大模型应用中不可缺少的部分。是更贴近应用的部分。

不同的应用场景需要不同的策略，可能是新旧技术的结合，也可能是完全新的领域，比如sora。多模态正在发力的路上，还需要我们更多的探索。

​

如何学习大模型

现在社会上大模型越来越普及了，已经有很多人都想往这里面扎，但是却找不到适合的方法去学习。

作为一名资深码农，初入大模型时也吃了很多亏，踩了无数坑。现在我想把我的经验和知识分享给你们，帮助你们学习AI大模型，能够解决你们学习中的困难。

我已将重要的AI大模型资料包括市面上AI大模型各大白皮书、AGI大模型系统学习路线、AI大模型视频教程、实战学习，等录播视频免费分享出来，需要的小伙伴可以扫取。

一、AGI大模型系统学习路线

很多人学习大模型的时候没有方向，东学一点西学一点，像只无头苍蝇乱撞，我下面分享的这个学习路线希望能够帮助到你们学习AI大模型。

在这里插入图片描述

二、AI大模型视频教程

在这里插入图片描述

三、AI大模型各大学习书籍

在这里插入图片描述

四、AI大模型各大场景实战案例

在这里插入图片描述

五、结束语

学习AI大模型是当前科技发展的趋势，它不仅能够为我们提供更多的机会和挑战，还能够让我们更好地理解和应用人工智能技术。通过学习AI大模型，我们可以深入了解深度学习、神经网络等核心概念，并将其应用于自然语言处理、计算机视觉、语音识别等领域。同时，掌握AI大模型还能够为我们的职业发展增添竞争力，成为未来技术领域的领导者。

再者，学习AI大模型也能为我们自己创造更多的价值，提供更多的岗位以及副业创收，让自己的生活更上一层楼。

因此，学习AI大模型是一项有前景且值得投入的时间和精力的重要选择。

标签
#人工智能 #大语言模型 #ai大模型 #RAG #AGI
#多模态大模型 #大模型应用
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
大模型训练、多模态数据处理与融合 随着人工智能技术的快速发展，大模型训练和多模态数据处理已经成为热门话题。本文将深入探讨这两个领域的理论和实践，旨在帮助读者更好地理解这些技术，并在实际应用中获得成功。 阅读详情

相关推荐

多模态大模型发展及应用

*该领域的代表作为OpenAI 的多模态模型GPT-4V，模型具备较强大的能力：1）模型具有强大的通用性能力，能够处理不同输入模态的任意组合，包括图像、子图像、文本、场景文本和视觉指针。整体而言，多模态智能体在多模态理解方面能力较强，并可轻松扩展到潜在的数百万种工具中。其次，多模态更接近人类学习的模式，在物理世界中，人类认知一个事物并不是通过单一模态，例如认知一只宠物，可以从视觉（宠物形貌）、听觉（宠物叫声）、嗅觉（宠物体味）、触觉（宠物毛发、宠物体温等）等多模态全面立体认知，是未来人工智能的发展方向。

Aweii__的博客 2872

什么是多模态大模型？为什么需要多模态大模型？

简单来说，所谓的多模态大模型就是一种能够理解和处理多种类型的机器学习模型——而类型也被叫做模态，包括文本，图片，音频，视频等。这种模型可以融合多种不同模态的信息，执行更复杂和智能的任务；如视觉问答(AI面试官)，图文生成，语音识别与合成等。‍‍‍‍‍‍‍‍‍。

2401_85373691的博客 2733

多模态大模型——多模态大模型技术特点、多模态大模型应用场景、多模态大模型案例、多模态大模型面临挑战

多模态大模型——多模态大模型技术特点、多模态大模型应用场景、多模态大模型案例、多模态大模型面临挑战

2402_84466582的博客 5024

多模态大模型综述，零基础入门到精通，收藏这一篇就够了

多模态大型语言模型（Multimodal Large Language Models， MLLM）的出现是建立在大型语言模型（Large Language Models， LLM）和大型视觉模型（Large Vision Models， LVM）领域不断突破的基础上的。随着 LLM 在语言理解和推理能力上的逐步增强，指令微调、上下文学习和思维链工具的应用愈加广泛。然而，尽管 LLM 在处理语言任务时表现出色，但在感知和理解图像等视觉信息方面仍然存在明显的短板。

Python_0011的博客 3524

多模态大模型：技术、应用与前景

多模态大模型作为人工智能领域的重要研究方向之一，将会在未来的发展中发挥越来越重要的作用，为解决现实世界中的复杂问题提供强大的工具和方法。：在模态融合的过程中，模型可以学习到对于不同模态的数据分配不同的注意力权重，以更好地适应不同模态数据的特点。：随着对于多模态学习方法的研究不断深入，将会有更多的创新方法被提出，为多模态大模型的发展提供更多的可能性。：随着对于跨模态数据集的需求增加，将会有更多的跨模态数据集被建立，从而促进多模态大模型的发展。多模态大模型的关键之一是如何将不同模态的数据有效地融合起来。

weixin_47151388的博客 6269

多模态和多模态大模型 (LMM)

想象一个机器，它的工作就是从一堆预先设定的选项中，选择一个最合适的类别。但这种方法只在选项有限的情况下才行得通。之前的很多模型都受到这样的限制。比如，的模型只能在 1,000 个类别中选择，而JFT-300M的选择则为 18,291 个类别。这种方法的缺陷是，模型可能会受到类别的限制而无法给出丰富的回答，还限制了其零样本学习的能力。比方说，如果训练它只认识 10 种类别，那么当出现 100 种类别时，它就不知所措了。CLIP 已经发布 3 年了，而 Flamingo 也有将近 2 年。

m0_70839135的博客 2335

LLM大模型：大模型应用（七）多模态和大模型是如何相互成就的

如果单纯的将大模型用来聊天，那就是low了。而多模态赋予了大模型更多的现实价值，大模型则助力多模态变得更强大。

m0_65555479的博客 1075

多模态大模型在办公领域的应用

它们能够处理多种类型的数据，实现智能化的文档处理、会议管理、项目管理、客户服务、创意设计和数据分析等功能，为办公人员提供更加全面、高效和个性化的服务。智能化与人性化的结合：在构建数字员工平台时，需要注重智能化与人性的结合，确保数字员工能够提供更加贴心和个性化的服务，从而提升客户满意度和忠诚度。语言翻译：对于需要翻译的文件，多模态大模型可以实现即时、准确的翻译，支持多种语言之间的转换，消除语言障碍。可视化呈现：根据数据的特点和分析需求，模型可以生成直观、易懂的图表和报告，帮助用户更好地理解数据。

2402_84466582的博客 1510

多模态大模型的发展、挑战与应用

随着 AlexNet [1] 的出现，过去十年里深度学习得到了快速的发展，而卷积神经网络也从 AlexNet 逐步发展到了 VGG [2]、ResNet [3]、DenseNet [4]、HRNet [5] 等更深的网络结构。研究者们发现，网络越深模型的性能越好。然而，经过多年的发展，研究者们逐渐触碰到了卷积神经网络的极限，而其规模也只发展到了千万到亿的数量级，例如 ResNet-152 的参数量大约为 60 Million (M)，HRNet_W64 大约为 128M。

renwu 1万+

多模态大模型：技术原理与实战 多模态大模型的应用图谱

近年来，深度学习的快速发展推动了人工智能技术的进步，特别是在计算机视觉、自然语言处理等领域取得了显著成果。然而，传统的深度学习模型通常只能处理单一模态的数据，例如图像或文本，而现实世界中的信息往往是多模态的，例如图像和文本、视频和音频等。为了更好地理解和处理现实世界的信息，多模态学习应运而生。多模态学习旨在通过整合不同模态的信息来提升模型的性能，其核心思想是将不同模态的数据映射到一个共同的语义空间，从而实现跨模态的语义理解和信息融合。生成描述图像内容的文本。根据图像内容回答问题。

AI天才研究院 949

多模态大模型：技术原理与实战 多模态大模型的主要应用场景

随着人工智能技术的快速发展，多模态大模型已经成为了当前AI领域最热门的研究方向之一。这些模型能够同时处理和理解多种数据类型，如文本、图像、音频和视频，从而实现更加全面和智能的信息处理能力。多模态大模型的出现不仅推动了人工智能技术的进步，也为各行各业带来了革命性的变革。在本文中，我们将深入探讨多模态大模型的技术原理，并重点关注其主要应用场景。我们将从理论到实践，全面解析这一前沿技术，帮助读者更好地理解和应用多模态大模型。表示学习：学习不同模态数据的统一表示。注意力机制：捕捉不同模态之间的关键信息。

AI天才研究院 2488

【论文阅读】大模型和多模态大模型在医学中的应用综述

大模型和多模态大模型在医学中的应用综述

m0_61222152的博客 3919

多模态大模型的应用前景

1. 背景介绍 在人工智能（AI）领域，大模型（Large Language Models）已经取得了显著的成功，在自然语言处理（NLP）任务中表现出色。然而，现实世界中的信息并不只是存在于文本中，还存在于图像、音频、视频等多种模态中。因此，开发能够处理和理解多模态数据的大模型变得至关重要。本文将探讨多模态大模型的应用前景，其核心概念、算法原理，以及

AGI×大数据，开启智能时代的认知跃迁；解码AGI，赋能数据驱动的智能革命。 951

一文吃透多模态：多模态大模型的探索 五大研究方向与十大应用领域！

在大模型兴起之后，产业也试图在图像、视频、音频等更多模态领域复现“Scaling Law”的成功，继续实现大模型的“智能涌现”。。多模态的本质要利用视觉、听觉、触觉、味觉等语言之外更加丰富的感知通道，去模拟人类理解与表达信息的能力。理想中的多模态大模型具备跨模态的泛化理解和生成能力，其更符合人类感知世界的方式，其或能进一步打开AI能力的上限。产业界也在积极探索多模态大模型可行的技术路径，在多模态领域“复刻”大语言模型的成功。

xiangxueerfei的博客 1932

金融级IT架构-数字银行的云原生架构解析

最近断断续续花了差不多2到3周的时间阅读完由电子工业出版社出版的《金融级IT架构：数字银行的云原生架构解密》的这本书，作者是作者是网商银行技术编委会。 本书契合了当前银行业分布式架构转型趋势，内容是经过实践检验的领先技术介绍了网商银行IT技术架构演进路线，涵盖了分布式、单元化、弹性混合云、云原生多个基础架构领域，同时介绍了技术风险、安全可信、业务架构等多方面的技术实践经验。 对于这本书实际很早搜索云原生相关书籍的时候就搜索到，但是一看标题是金融IT架构方面的因此没有引起太多的重视，后面由华章...

年少有为 4064

常见的电容有哪些

电容在电路板中非常常见，类别纷繁复杂，本文化繁为简，主要介绍下常见电容。

qq_40170041的博客 768

多模态大模型

看了这些多模态的研究后，多模态的研究做的事情主要是：不同模态进行对齐不同模态进行融合指令微调促进人机交互，数据的质量可能比数量更重要模型设计既要保证检索任务下的高效推理，又要能够进行多模态深度融合进入大语言模型时代前，用更大的图像编码器一般是更有效的进入大语言模型时代后，图文理解能力的强大可能来自于大语言模型的能力进入大语言模型时代后，视觉优先仍然是值得探索的方向，但是训练大视觉模型向来是比较困难的想要在多模态理解的基础上扩充多模态生成能力需要设计不同模态对应的解码器。

2401_85373396的博客 4408

雷达信号处理DDC数字下变频

由于接收到的雷达信号频率较高，不能对其进行直接采样并数据处理，所以需要对雷达信号进行预处理，在降低其采样率的同时，将其由中频降低到低频，然后对输出的基带信号进行后续的解析，以便于获取雷达信号的特征参数。 本文采用数字正交下变频，将单通道信号转化为正交双通道信号，数字下变频（DDC）的原型为模拟下变频，通过对窄带雷达信号或单频信号进行数字混频，然后对信号进行正交采样，提取 I、Q 两路正交分量，最后通过滤波去除信号中的高频分量，将信号由中高频搬移至低频。 模拟下变频的系统框图如下： 其数学推导.

qq_44033461的博客 5229

多模态大模型技术方向和应用场景

多模态大模型（Multimodal Large Language Models，MLLM）是一种结合了大型语言模型（LLM）和大型视觉模型（LVM）的深度学习模型，它们能够处理和理解多种类型的数据，如文本、图像和音频，从而在跨模态任务中展现出卓越的性能。对于多模态输入-文本输出的典型 MLLM，其架构一般包括以及。如要支持更多模态的输出(如图片、音频、视频)，一般需要额外接入，如下图所示:👉[优快云大礼包（安全链接，放心点击）]👈MLLM 架构图。

2401_85375186的博客 2472

《实战指南 | MES业务顾问蓝图设计方案：避免90%项目踩坑，从战略到落地的全攻略》

《MES业务顾问蓝图设计方案》干货分享：制造业高管常遇MES系统沦为"摆设"的困境，根源在于蓝图设计阶段未抓准业务痛点。本文系统梳理了6大关键点：1)战略定位上承ERP下接设备；2)通过现场蹲点挖掘真实需求；3)构建可扩展技术架构；4)建立数据闭环管理；5)组织保障分步实施；6)持续量化KPI优化。方案强调从业务价值出发，避免"纸上谈兵"，通过数据驱动实现"计划-执行-反馈"闭环，最终让MES成为企业数字化的核心资产。

「东哥说MES」 专注于MES制造执行系统，为你拆解核心架构、功能模块及与ERP/PLC的集成逻辑。提供从入门到精通的系列干货、精选行业报告与实用工具，构建你的数字化知识体系，关注我，用实战经验照亮你的数字化之路。 1335

别再纠结选哪个向量库了！我用Spring AI + Redis Stack 7.2，5分钟搞定企业知识库RAG原型

本文介绍了如何利用Spring AI和Redis Stack 7.2快速构建企业级RAG应用，解决向量数据库选型难题。Redis Stack 7.2集成了RediSearch模块，支持向量相似性搜索，具备高性能、低成本、零学习成本等优势，特别适合中小团队快速搭建知识库系统。通过实战代码示例，展示了从环境准备到核心功能实现的完整流程。

weixin_29061041的博客 272

多模态和多模态大模型

以前，我们的机器学习模型一般都只处理一种类型的数据，比如只处理文本（翻译、语言建模）、图像（对象检测、图像分类）或音频（语音识别）。但是，想想我们人类的大脑。我们不仅仅读写文字，还可以看图、看视频，听音乐，还能够辨识各种不同的声音。所以，为了让AI更接近真实世界，处理多种类型的数据显得非常重要。OpenAI 在他们的这种融合的方法就是将大语言模型 (LLMs) 扩展到多种数据类型，从而得到所谓的多模态大模型 (LMMs)。

python1234567_的博客 2318

极智嘉嵌入式面试题及参考答案

IIC（Inter-Integrated Circuit）即集成电路总线，是一种由 PHILIPS 公司开发的两线式串行总线，用于连接微控制器及其外围设备。它仅使用两根线，即串行数据线 SDA 和串行时钟线 SCL，就能实现多个设备之间的通信，具有简单、高效、占用资源少等优点，广泛应用于各种嵌入式系统中。

大模型大数据攻城狮的专栏 921
上一篇： Al+医学，用这个中文多模态医学大模型帮你看胸片
下一篇： LLM——10个大型语言模型(LLM)常见面试题以及答案解析
点赞 30
评论 0
书签 书签 16
AI_小站
AI_小站
博客等级 码龄3年 6255粉丝 1152原创
+ 关注
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值