多模态大模型(MLLM)：架构篇

最新推荐文章于 2024-12-25 20:23:16 发布
最新推荐文章于 2024-12-25 20:23:16 发布
阅读量456 收藏 5
点赞数 5
文章标签： 人工智能 ai 大模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/2401_85324918/article/details/141321827
版权
**【导读】**多模态大模型主要是以LLM作为核心决策模块，主流架构有两种：LLM as Discrete Scheduler/Controller和LLM as joint part of system，第一种LLM充当任务调度的作用，第二种LLM通过Encoder-LLM-Decoder结构作为系统的关键连接部分，天花板更高。

01

MLLM架构起源

1. 基本idea：以大语言模型(LLM)作为支点

鉴于这一前提，几乎所有当前的MLLM都是基于大语言模型(LLM)构建的，作为核心决策模块（即大脑或中央处理器）。

通过添加额外的非文本模态模块，LLM具有多模态能力。

02

MLLM基本结构

1. LLM as Discrete Scheduler/Controller

LLM 角色是接受文本信号，下发调度下游模块的文本命令

代表模型：

最低0.47元/天 解锁文章
AI领航者
关注
一文读懂「MLLM，Multimodal Large Language Model」多模态大语言模型
女王の专属领地
01-09 6593
模态是事物的一种表现形式，多模态通常包含两个或者两个以上的模态形式，是从多个视角出发对事物进行描述。生活中常见多 模态表示，例如传感器的数据不仅仅包含文字、图像，还可以包括与之匹配的温度、深度信息等。使用多模态数据能够使得事物呈现更加立体、全面，多模态研究成为当前研究重要方面，在情感分析、机器翻译、自然语言处理 和生物医药前沿方向取得重大突破。MLLM通常以大语言模型(Large Language Model，LLM)为基础，融入其它非文本的模态信息，完成各种多模态任务。MLLM定义为“
大模型学习笔记 - LLM模型架构
m0_37531129的博客
07-20 2196
具体来说，滑动窗口注意力设置了一个大小为𝑤 的窗口，对每个词元𝑢𝑡，只对窗口内的词元[𝑢𝑡−𝑤+1, . . . , 𝑢𝑡 ] 进行注意力计算，从而将复杂度降低到𝑂(𝑤𝑇)。来自于《Mixtral of Experts》，Mixtral 8x7B 是一种稀疏的混合专家（稀疏 MoE）模型，目前是性能最佳的大型语言模型（LLM）之一，同时也是最受人关注的一种公开可用的 LLM。大语言模型与早期的预训练语言模型相比，主要是使用了更长的向量维度、更深的层数、更大的数据集、进而包含了更大规模的模型参数。
LLM学习：大模型架构要点总结
m0_59163425的博客
04-11 3369
LLM本身基于transformer架构。通常认为参数量超过10B的模型为大语言模型。由于参数量巨大，需要的训练数据量也极多，因此目前大部分的使用方式为：大公司整理大量常用数据集，训练一个各方面性能还不错的通用大模型，小公司在此通用模型上搜集小规模行业数据进行微调，最终得到行业专有模型/领域模型。当然，如果通用模型能直接拥有各行业知识是最好的，但以目前的数据量和算力等还未达到效果。
大语言模型（LLM）框架及微调 (Fine Tuning)
ejinxian的专栏
12-30 2309
GPT (Generative Pre-trained Transformer) 的提出标志着 LLM 技术的飞速发展，其预训练和微调的方法为语言任务提供了前所未有的性能，以此为基础，多模态融合的应用使得 LLM 更全面地处理各种信息，支持更广泛的应用领域。通过数据向量化，实现了在向量数据库中进行高效的相似性计算和查询。Transformer 架构和预训练与微调策略是 LLM 技术的核心，随着大规模语言数据集的可用性和计算能力的提升，研究者们开始设计更大规模的神经网络，以提高对语言复杂性的理解。
LLM主要类别架构
2401_85373898的博客
06-13 1742
LLM本身基于transformer架构。自2017年，attention is all you need诞生起，transformer模型为不同领域的模型提供了灵感和启发。基于原始的Transformer框架，衍生出了一系列模型，一些模型仅仅使用encoder或decoder，有些模型同时使encoder+decoder。💫LLM分类一般分为三种：自编码模型（encoder）、自回归模型(decoder)和序列到序列模型(encoder-decoder)。
大语言模型LLM-三种模型架构
2401_85373396的博客
07-17 1177
输入序列特征表示\(x_1, x_2, \cdots, x_n\)，按行摆放，就构成了输入特征\(X \in \mathbb{R}^{n \times d}\)，那么就将输入的\(n\)个特征序列都转换为对应的\(n\)个query vector, \(n\)个key vector, \(n\)个value vector， 矩阵化表示这些为。因此序列每个位置的输出，都可以看出输入序列转换后表示的加权平均，加权系数是由当前位置特征与序列所有位置的特征相似度确定的（这里的特征都是转换后的特征）
多模态大模型：基础架构
鲁班模锤
06-16 3036
多模态大型语言模型（MLLM）是人工智能领域的前沿创新，它结合了语言和视觉模型的功能，可以处理复杂的任务，如视觉问答和图像字幕。这些模型利用大规模预训练，集成了多种数据模态，以显著提高其在各种应用程序中的性能。
LLM - 理解 多模态大语言模型(MLLM) 的 评估(Evaluation) 与相关技术 (六)
AGI
09-19 1776
评估(Evaluation) 是研发 多模态大语言模型(MLLM)的重要部分，为模型优化提供反馈，有助于比较不同模型的性能。与传统多模态模型的评估方法相比，MLLM 评估表现的特点包括，由于 MLLM 通常具有通用性，因此全面评估 MLLM 非常重要。MLLM 展现出许多 涌现(Emergent) 能力，需要特别关注，例如，无需 OCR 的数学推理，因此需要新的评估方案。根据问题类型，MLLM 的评估可以分为两个大类，即 封闭集(closed-set) 和 开放集(open-set)。
10分钟了解大模型应用全貌 : 大模型应用架构（LLM application architecture）
最新发布
2401_85325726的博客
12-25 1112
大型语言模型（LLM）在应用中有着复杂的架构，它不仅涉及基本的输入输出.还包括安全过滤、提示优化和示例选择等多个关键组件，以确保响应的安全性与准确性。通过与外部工具的结合和多模型协作，大模型（LLM）能够弥补知识盲点并提高处理效率。通过结构化输出、向量数据库以及记忆和缓存技术的引入，进一步增强了模型的能力和系统的性能。在终端用户的使用感受中，通常，使用一个简单的提示词作为输入，大模型（如GPT）接收后返回给用户对应结果。然而，基于LLM的应用的整体结构比这要复杂得多。
深入LLM架构：解析聊天机器人背后的技术核心
AGI×大数据，开启智能时代的认知跃迁；解码AGI，赋能数据驱动的智能革命。
05-12 123
深入LLM架构：解析聊天机器人背后的技术核心 作者：禅与计算机程序设计艺术 1. 背景介绍 1.1. 聊天机器人的发展历程 聊天机器人的概念由来已久，最早可以追溯到图灵测试。近年来，随着人工智能技术的飞速
基于LLM的AI Agent架构设计统一框架
强化学习曾小健
04-16 392
它不仅能够模拟人类的交流方式，还能在复杂的环境中执行多样化的任务。AI Agent的作用日益凸显，从提供个性化推荐到辅助决策，再到自动化的流程管理，它们的应用范围正在不断扩大。然而，要充分发挥AI Agent的潜力，我们需要一个有效的架构设计，以确保它们能够更好地理解和适应所处的环境。Profile Module：此模块的目标是集中关于真实人类的信息，并将其组织成自然语言提示，以构建详尽的Profile。通过统一的记忆结构，AI Agent能够存储和回忆与用户相关的信息，从而提供更加个性化的服务。
探索新型 LLM 代理和架构
ms44的专栏
09-07 1004
首先，它有助于定义我们所说的代理。基于 LLM 的代理是将多个处理步骤（包括对 LLM 的调用）串联在一起以实现所需的最终结果的软件系统。代理通常具有一定数量的条件逻辑或决策能力，以及它们可以在步骤之间访问的工作内存。让我们深入了解当今代理的构建方式、现代代理的当前问题以及一些初步解决方案。wp:heading新一代代理建立在以更为严格的方式定义代理可能采取的路径的原则之上，而不是 ReAct 的开放性。
LLM介绍
qq_62971982的博客
04-17 1万+
ChatGPT 的巨大成功激发了越来越多的开发者兴趣，他们希望利用 OpenAI 提供的 API 或者私有化模型，来开发基于大型语言模型的应用程序。尽管大型语言模型的调用相对简单，但要创建完整的应用程序，仍然需要大量的定制开发工作，包括 API 集成、互动逻辑、数据存储等等。为了解决这个问题，从 2022 年开始，许多机构和个人相继推出了多个开源项目，旨在帮助开发者们快速构建基于大型语言模型的端到端应用程序或工作流程。其中一个备受关注的项目就是 LangChain 框架。
LLM的7种推理框架
python122_的博客
06-13 2331
我们如何在本地安全地运行私有的LLMs呢？开源模型为此提供了可能的解决方案。本文将介绍七种方法。这是一个Python库，可以简化本地运行LLM的过程。特点：Llama.cpp是一个基于C++的推理引擎，专门为Apple Silicon优化，可以运行Meta的Llama2模型。它针对GPU和CPU都做了推理优化。优点：性能高于基于Python的解决方案，支持在适度的硬件上运行大型模型，如Llama 7B，并提供绑定，可以用其他语言构建AI应用程序，同时通过Llama.cpp运行推理。
一文搞懂LLM大模型！LLM从入门到精通万字长文（2024.12月最新）
qq_45591302的博客
07-12 2万+
LLM大模型从入门到精通
2024 年 8 个顶级开源 LLM（大语言模型）
热门推荐
一览无遗
12-19 5万+
选择开源 LLM 的公司将可以访问 LLM 的工作原理，包括它们的源代码、架构、训练数据以及训练和推理机制。这种透明度是审查的第一步，也是定制的第一步。由于每个人都可以访问开源 LLM，包括它们的源代码，因此使用它们的公司可以针对其特定用例对其进行自定义。
LLM大模型综述
zh515858237的专栏
01-10 3万+
LLM其实就是large language model，大语言模型。如果对“最终任务”进一步进行分类，又大致可以分为两大不同类型的任务：自然语言理解类任务和自然语言生成类任务。如果排除掉“中间任务”的话，典型的自然语言理解类任务包括文本分类、句子关系判断、情感倾向判断等，这种任务本质上都是分类任务，就是说输入一个句子（文章），或者两个句子，模型参考所有输入内容，最后给出属于哪个类别的判断。自然语言生成也包含很多NLP研究子方向，比如聊天机器人、机器翻译、文本摘要、问答系统等。
探索前沿AI技术：什么是LLM框架?什么是Agent应用?什么是Workflow架构?一篇文章带你全部搞懂
大模型训练
08-16 462
探索前沿AI技术：什么是LLM框架?什么是Agent应用?什么是Workflow架构?一篇文章带你全部搞懂
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值