多模态大模型

最新推荐文章于 2025-12-03 08:43:36 发布
原创 最新推荐文章于 2025-12-03 08:43:36 发布 · 675 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能

一 通义千问系列

1 Qwen-VL

这个其实就是使用了一个单层交叉注意力的Q-former，但是其还在交叉注意力中显式加入了绝对位置编码。
在这里插入图片描述
输入的格式预处理：<img>图像特征</img>,<box>xyxy格式坐标框</box>
在这里插入图片描述
训练过程包括三个，两个预训练阶段和一个指令微调阶段
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
参考：https://www.51cto.com/aigc/4716.html
在这里插入图片描述

Qwen2-VL

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

3 Qwen2.5-VL

在这里插入图片描述
在这里插入图片描述
知乎Qwen2.5-VL

二 ChatGLM系列 （General Language Model）

ChatGLM

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

ChatGLM2

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

ChatGLM3

优快云 ChatGLM3 链接
在这里插入图片描述
在这里插入图片描述

VisualGLM

优快云 VIsualGLM
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

三 Hunyuan 混元大模型系列

优快云 Hunyuan大模型
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
多模态
在这里插入图片描述

四 Llava系列

在这里插入图片描述
在这里插入图片描述

Llava1 （Visual Instruction Tuning）

优快云 Llava1链接
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Llava1.5

知乎 Llava2链接
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Llava Next（1.6）

知乎Llava Next链接

MiniGPT系列

MiniGPT4

六 BLIP系列 （含ALBEF）

ALBEF（BLIP的前身）

Whynot886
关注
机器人多模态大模型转换与量化
古月居
02-25 2378
具身智能的概念可以追溯到1950年，图灵在论文《Computing Machinery and Intelligence》中提出机器像人一样能和环境交互感知，自主规划、决策、行动，并具备执行能力，是AI的终极形态。大模型时代，大模型作为机器人的“大脑”，多模态作为机器人的“小脑”，模型的训练和测试与云服务相结合，可以在云上虚拟仿真场景下，进行端到端的实时训练与测试，快速完成端侧迭代与开发，这就大大加速了具身智能体的进化速度。
多模态大模型解读
qq_45888932的博客
06-19 1856
介绍近几年多模态大语言模型的研究进展，包括：CLIP、ALBEF、BLIP和BLIP2。
多模态大模型介绍
技术引领业务创新
05-27 6600
摘要：新一代多模态大型语言模型（如GPT-4o、Gemini1.5等）能够整合文本、图像、音频和视频等多种输入模式。Spring AI通过Message API支持多模态处理，UserMessage的content字段用于文本输入，media字段可添加图像等多媒体内容。开发者可使用ChatClient API实现多模态交互，如让模型分析图片内容。多模态模型正被应用于酒店图片分类等实际场景，展现了处理复杂数据的潜力。（149字）
多模态大模型（从0到1）
shinuone的博客
06-24 2115
多模态大模型（Multimodal Large Model）是指具备大规模参数量与预训练能力，能够同时感知、理解、融合与生成来自多种模态数据（如：视觉模态〔图像/视频〕、语言模态〔文本/语音〕、传感模态〔激光雷达、深度图、红外线等〕）的人工智能模型。
多模态大模型是新一代人工智能技术范式
热门推荐
weixin_43178406的博客
05-02 5万+
 本文主要介绍了推开通用人工智能大门，多模态大模型是新一代人工智能技术范式，希望能对学习大模型的同学们有所帮助。 文章目录 1. 前言 2. 书籍推荐 2.1 内容简介 2.2 本书作者 2.3 本书目录 2.4 适合读者
多模态大模型训练技巧整理
kcarly的专栏
01-21 2015
多模态大模型的训练技巧涵盖了从数据预处理到模型优化的多个方面。通过联合训练、级联训练、迁移学习等方法，结合低秩适配、提示调优等高效策略，可以显著提升模型的性能和泛化能力。此外，合理的数据增强和模态融合技术也为多模态大模型的发展提供了重要支持。这些训练技巧不仅推动了多模态大模型的研究进展，也为实际应用提供了坚实的技术基础。
多模态和多模态大模型
python1234567_的博客
06-13 2128
以前，我们的机器学习模型一般都只处理一种类型的数据，比如只处理文本（翻译、语言建模）、图像（对象检测、图像分类）或音频（语音识别）。但是，想想我们人类的大脑。我们不仅仅读写文字，还可以看图、看视频，听音乐，还能够辨识各种不同的声音。所以，为了让AI更接近真实世界，处理多种类型的数据显得非常重要。OpenAI 在他们的这种融合的方法就是将大语言模型 (LLMs) 扩展到多种数据类型，从而得到所谓的多模态大模型 (LMMs)。
2024多模态大模型综述最新总结
不积跬步，无以至千里！
12-22 4172
多模态大模型（MLLM）综述！
多模态大模型技术的核心框架及2025年最新技术成果
技术引领业务创新
06-16 1101
多模态大模型技术的核心框架及2025年最新技术成果
精选资源
多模态大模型 前沿算法与实战应用【附源码+课件】
12-10
多模态大模型前沿算法与实战应用，是一门涵盖了多模态概念、大模型架构、实际应用案例以及代码实现的综合性课程。课程内容深入探讨了多模态大模型的核心技术，实战应用的策略和方法，并提供了源码和课件，使得学习者...
精选资源
多模态大模型微调-基于Lora对Qwen-VL多模态大模型进行微调-附项目源码+流程教程-优质项目实战.zip
10-16
在当前人工智能领域，多模态大模型作为研究热点之一，其应用和发展正受到广泛关注。多模态大模型是指能够处理和理解来自多种模式或类型数据的模型，这些模式包括文本、图像、声音等。通过整合这些不同类型的数据，...
精选资源
重磅推荐-2024最新AIGC与多模态大模型最佳实践PPT合集（42份）.zip
12-09
万亿参数多模态模型高效训练的架构实践 多模态商品营销文案自动生成实践 亿级别多模态短视频百科体系 内容安全中的多模态模型训练实践 内容电商下的多模态内容理解和智能生产 基于 Prompt 多模态预训练模型进展 基于...
精选资源
电力人工智能多模态大模型创新技术与应用
04-03
电力人工智能多模态大模型是一种综合人工智能技术的创新应用，它在电力系统运行中发挥着重要的作用。人工智能的概念最早可以追溯到20世纪50年代，经历了多个发展阶段，包括推理期、知识期、统计学习时期、集成方法...
精选资源
2025年电力人工智能多模态大模型创新技术及应用报告.pdf
03-13
2025年电力人工智能多模态大模型创新技术及应用报告，这是一份关注电力行业人工智能发展和创新应用的深度研究文件。报告所涉及的多模态大模型技术，指的是能够处理并整合多种类型数据的人工智能模型。这种模型能够从...
TensorRT笔记（5）：研究timingCache
ouliten的博客
12-02 922
在里出现了大量的timingCache，但是当时没有取研究这是干啥的，本文就来解析一下。样例都基于上面的文章。
大模型应用：大模型 MapReduce 全解析：核心概念、中文语料示例实现.12
最新发布
minhuan的专栏
12-03 990
本文介绍了MapReduce编程模型及其在大模型训练中的应用。MapReduce通过"分治-并行-聚合"思想处理大规模数据，传统Hadoop MapReduce侧重结构化数据计算，而大模型MapReduce则针对自然语言处理任务。文章详细对比了两者在架构、处理对象和核心算力等方面的差异，并提供了中文词频统计的Python实现示例，包括单机版和分布式版本。分布式实现利用多进程模拟集群计算，展示了数据分片、Map、Shuffle和Reduce的完整流程。
07_Spring AI 干货笔记之提示词
在科技的浪潮中，我们寻找着创新的火种，在代码的海洋里，我们编织着智慧的网。腾飞开源，就是这样一个由技术精英汇聚而成的博客平台，我们致力于分享在Java、Python、IoT和人工智能等领域的最新研究成果和实战经验。 在腾飞开源的博客上，你会看到紧跟技术前
11-30 1841
本文详细介绍了Spring AI中的提示词核心概念与API设计。提示词作为引导AI模型生成特定输出的关键输入，其结构从简单字符串演进为包含多角色消息的复杂形式。Spring AI通过Prompt和Message接口提供结构化提示词管理，支持系统、用户、助手等角色分配。PromptTemplate类实现动态内容渲染，并支持自定义模板引擎。文章还涵盖提示词工程的最佳实践与令牌机制，为开发者提供完整的提示词设计解决方案。
昇腾平台 vLLM 部署与性能优化实战：高吞吐推理落地指南
二哈喇子！
12-01 1万+
昇腾平台vLLM部署与性能优化实战摘要
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值