吃瓜Llama3-V之余,看多模态大模型架构演变!

狂奔的羊驼-llama3生态大爆发 在本地通过ollama使用llama3, 将较长的视频分块,并自动形成摘要。从llama3发布后理论上预测社区的爆发,到接下来的2周见证社区的持续火热,llama3带给我们非常多惊喜,未来会有更加参数小而能力强的模型出现,但llama3是1个重要的开始,fine-tune的低成本促进了社区创意的发挥,而这些创意产生的新模型又推进了应用生态的繁荣。另外本地化模型正在变得越来越好用,这进一步降低了大模型成本以及满足了离线使用模型的需求。 阅读详情

今天最大的瓜莫过于:斯坦福 Llama3-V PK 清华 MiniCPM-Llama3-V-2.5,详细证据:

https://github.com/OpenBMB/MiniCPM-V/issues/196

吃瓜之余,来看一下多模态大模型架构演变!

一篇优秀的论文综述了多模态AI架构——包含了一个全面的分类法和对任意到任意模态模型发展的分析。

📌 综合分类法:首次明确识别并分类四种广泛的多模态架构类型(A型、B型、C型、D型),有助于简化对模型架构的理解和选择。

📌 比较分析:对每种架构类型的优势和劣势进行了详细审查,考虑了训练数据、计算需求、可扩展性和模态整合。

📌 任意到任意模态模型:突出了构建任意到任意模态模型所涉及的主要架构类型,有助于模型的选择和发展。

综合分类法

按四种提出的架构类型分组的多模态模型发展时间线

在这里插入图片描述

多模态模型架构的分类。四种不同类型的多模态架构及其子类型被概述。各种模型被系统地分类到类型和子类型中。深度融合:类型A和类型B在模型的内部层融合多模态输入。早期融合:类型C和类型D在输入阶段促进融合。类型A使用标准的交叉注意力机制,而类型B则利用定制设计的交叉注意力或专门的层。类型C是一种非标记化的多模态模型架构,而类型D则采用输入标记化(离散标记)。SCDF:基于标准交叉注意力的深度融合。CLDF:基于定制层的深度融合。NTEF:非标记化的早期融合。TEF:标记化的早期融合。

图片

比较分析

  • Type-A (SCDF:Standard Cross-Attention based Deep Fusion) - 标准交叉注意力深度融合:使用标准的交叉注意力层在模型的内部层进行多模态输入的深度融合。这种类型可能在自注意力层之前或之后添加交叉注意力层。

类型A多模态模型架构。 输入模态通过使用标准交叉注意力层深入融合到LLM的内部层。交叉注意力可以添加在自注意力层之前或之后。模态特定的编码器处理不同的输入模态。使用重采样器来输出固定数量的模态(视觉/音频/视频)标记,给定输入时变量数量的输入标记。

图片

  • Type-B (CLDF:Custom Layer based Deep Fusion) - 自定义层深度融合:使用定制设计的层(例如自定义交叉注意力层或其他特定层)在模型的内部层进行多模态输入的深度融合。

类型B多模态模型架构。 输入模态通过使用定制设计的层深入融合到LLM的内部层。定制交叉注意力层或其他定制层用于模态融合。线性层/多层感知器/Q-former被用来将不同模态与解码层对齐。

图片

  • Type-C (NTEF:Non-Tokenized Early Fusion) - 非标记化早期融合:在模型的输入阶段进行多模态输入的早期融合,使用模态特定的编码器,但不涉及模型内部层的深度融合。这种类型可能使用线性层/MLP、Q-former、Perceiver resampler或自定义可学习层来连接编码器输出和LLM。

类型C多模态模型架构。(非标记化的)输入模态直接输入到模型的输入端,而不是其内部层,从而实现早期融合。不同类型的模块被用来将模态编码器的输出连接到LLM(模型),例如线性层/多层感知器、Q-former和线性层/多层感知器、Perceiver重采样器、定制的可学习层。

图片

  • Type-D (TEF:Tokenized Early Fusion ) - 标记化早期融合:与Type-C类似,在输入阶段进行早期融合,但使用标记化技术(如tokenizers)来处理模态。

类型D多模态模型架构。 标记化的输入模态直接输入到模型的输入端。在这个架构中,使用仅解码器变换器或编码器-解码器风格的变换器作为多模态变换器。

图片

任意到任意模态模型

任意到任意多模态模型的发展时间线。 从单一模态模型(左侧)到任意到任意模态模型(右侧)的演变过程被描绘出来。图中注明了属于C型和D型的任意到任意多模态模型。底部的绿线展示了非基于变换器的模型(如SSM,状态空间模型)的另一条发展时间线。Mamba是一个语言模型。VL-mamba和Cobra是视觉-语言模型。

图片

https://arxiv.org/pdf/2405.17927
The Evolution of Multimodal Model Architectures

​

如何学习大模型

现在社会上大模型越来越普及了,已经有很多人都想往这里面扎,但是却找不到适合的方法去学习。

作为一名资深码农,初入大模型时也吃了很多亏,踩了无数坑。现在我想把我的经验和知识分享给你们,帮助你们学习AI大模型,能够解决你们学习中的困难。

我已将重要的AI大模型资料包括市面上AI大模型各大白皮书、AGI大模型系统学习路线、AI大模型视频教程、实战学习,等录播视频免费分享出来,需要的小伙伴可以扫取。

一、AGI大模型系统学习路线

很多人学习大模型的时候没有方向,东学一点西学一点,像只无头苍蝇乱撞,我下面分享的这个学习路线希望能够帮助到你们学习AI大模型。

在这里插入图片描述

二、AI大模型视频教程

在这里插入图片描述

三、AI大模型各大学习书籍

在这里插入图片描述

四、AI大模型各大场景实战案例

在这里插入图片描述

五、结束语

学习AI大模型是当前科技发展的趋势,它不仅能够为我们提供更多的机会和挑战,还能够让我们更好地理解和应用人工智能技术。通过学习AI大模型,我们可以深入了解深度学习、神经网络等核心概念,并将其应用于自然语言处理、计算机视觉、语音识别等领域。同时,掌握AI大模型还能够为我们的职业发展增添竞争力,成为未来技术领域的领导者。

再者,学习AI大模型也能为我们自己创造更多的价值,提供更多的岗位以及副业创收,让自己的生活更上一层楼。

因此,学习AI大模型是一项有前景且值得投入的时间和精力的重要选择。

本地部署 MiniCPM-Llama3-V 2.5 阅读详情

相关推荐

【人工智能时代】-吃瓜Llama3-V之余,看多模态大模型架构演变!

使用定制设计的层(例如自定义交叉注意力层或其他特定层)在模型的内部层进行多模态输入的深度融合。

xiaoli8748的专栏 1061

【重磅!免费公开课】Llama 3技术剖析、微调、部署以及多模态训练

Meta公司推出了开源大语言模型Llama系列的最新产品—Llama 3,包含了80亿参数的Llama 3 8B和700亿参数的Llama 3 70B两个版本。Meta称其为“迄今为止最强的开源大模型”。Meta官方数据显示,Llama 3 8B模型在MMLU、GPQA、HumanEval等多项基准上均胜过同参数量级模型Gemma 7B和Mistral 7B Instruct,而70B模型则超越了...

weixin_40920183的博客 374

汽车OTA自动化测试解决方案

目前OTA远程升级技术已成为众多汽车制造商的标配。由于OTA升级可能会带来潜在的风险(特别是包含ECU固件更新的FOTA升级),针对OTA系统的测试过程就尤为重要。

东舟技术的博客 7761

火爆 Reddit!多模态 Llama-3 它来了 !![全网首发微调教程]

随着 XTuner 团队放出了基于 Llama3-8B 的 LLaVA 模型,我们也是第一时间与 XTuner 团队取得了联系,并获得了他们已经预训练好的 Image Projector。接下来,我们将带大家基于 Llama3-8B-Instruct 和 XTuner 团队预训练好的 Image Projector 微调自己的多模态图文理解模型 LLaVA。2.1 配置环境我们先来配置相关环境。使用如下指令便可以安装好一个 python=3.10 pytorch=2.1.2+cu121 的基础环境了。

weixin_59191169的博客 1505

Python爬虫实战:5分钟搞定东方财富A股数据抓取(附完整代码)

本文提供了一套基于Python的A股数据自动化采集与分析系统构建方案。文章详细解析了如何通过稳健的爬虫框架从东方财富等公开数据源高效抓取A股数据,并设计数据库进行自动化存储与管理,特别适合量化研究和数据分析场景。

weixin_29062963的博客 4445

ZYNQ开发(2)在Linux系统层上PL-PS通过AXI-DMA传输数据详细步骤及注意事项

参考的网络资料 https://github.com/bperez77/xilinx_axidma/tree/master https://gitlab.gnome.org/HosseinBeheshti/UlteraZed7EV/-/tree/master/petalinux/xilinx_axidma https://www.icode9.com/content-3-925319.html https://blog.youkuaiyun.com/weixin_38218267/article/details/1

aizaiyueye的专栏 3449

OpenAI最新模型来了!什么是GPT-4o?如何开启GPT-4o教程!

5月13日上午10点,OpenAI发布了GPT-4的迭代版本,GPT-4o。GPT-4o (“o” for “omni”),意思是更全能。免费给所有人使用,功能方面速度大幅度提升,处理文字、图片、语音会更快反应出来,GPT-4o 支持50种语言,可以进行实时语言同声翻译,还可以通过摄像头识别人类表情和情绪,并且通过语音来表达,GPT-4o不管是在语音、视觉功能上算得上目前最高模型的水平了。

youmaob的博客 3222

Jira Software 8.19.0

通过 Docker Compose 部署 Jira 8.19.0 能够极大地简化运维复杂度。数据库版本匹配(8.x 配 Postgres 11)。健康检查(避免启动竞态条件)。数据持久化(挂载 volume)。完成上述步骤后,你就拥有了一套完全由自己掌控数据的项目管理系统。记得定期备份/data/jira目录!

qq_43180307的博客 965

重磅!Meta 发布 Llama 3,前所未有的强大功能和多模态能力|TodayAI

​ Meta今日宣布推出其最新一代尖端开源大型语言模型Llama 3。该模型预计很快将在多个领先的云服务平台上线,Llama 3技术使Meta AI成为全球领先的AI助手之一,旨在通过学习、完成任务、创造内容及更多方式增强用户智能和减轻负担。用户现已能够体验Meta AI的服务。

TodayAI 2333

智能车图像处理9-进阶篇1--中线的提取

(1)10-50行 基础扫线 (2)56-71 断行0 ,就是比如遇到十字,十字路口下方 第一次断线的地方。 (3)83-124 按照原先有效行,拟线作为中值,然后从中值向左右扫线,同时计算赛道宽度。 (4)125-138 如果出现赛道宽度小于先前有效行,则找到二次扫线的起点,从二次扫线起点处,继续向下扫线,直至结束,同时记录最后的有效行。 (5) 310-- 最后计算左右边线类似于方差的值,用于环岛的判断 ***这里着重描述一下二次扫线,希望大家可以理解的深刻

taiyuezyh的博客 1万+

滤波算法实现大全——基于匀速直线运动模型的kalman滤波算法

滤波算法实现大全——基于匀速直线运动模型的kalman滤波算法

jane0819的博客 524

AI多模态模型架构之LLM主干(3):Llama系列

初期,小模型的损失下降较快,但随着训练的深入,小模型的性能逐渐饱和,下降速度减缓,而大模型的下降速度则超过了小模型。根据传统Scaling Law的建议,对于10B模型,应使用2000亿token进行训练,但Meta发现,即使是7B模型,使用1万亿token后,性能仍能持续提升。在后续的Llama系列中,Llama-1全部采用了公开渠道可以获取的数据,使用了2017至2020年的CommonCrawl数据,以及来自书籍和维基百科的文本,并且进行了去重,去掉了非英文数据,用线性模型对文本质量进行了分类。

AIGCmagic的博客 3296

OpenClaw Skill 开发全攻略|2026 最新机制 + 文件处理实操,看完直接落地开发

很多新手刚接触时,会把 Skill 想得很复杂,其实大可不必。OpenClaw 中的每个 Skill,本质就是一套“能力描述 + 执行逻辑”的组合包,简单说就是“告诉 AI 你能做什么、怎么做,它就会调用你”,核心特征可以总结为这几点,好记又实用:核心载体:以文件夹为单位,不管多简单的 Skill,文件夹里都必须有 SKILL.md 文件——这是 AI 识别技能的唯一依据,少了它,再完善的代码也没用;

haolove527的专栏 7031

【AI大模型】羊驼大模型详解_大模型 羊驼

• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;国内很多大模型都是学Alpaca模型的玩法,套壳LLaMA模型低成本训练出自己的模型。

2301_76225313的博客 914

维修小白也能变高手!一个网站搞定所有电子设备维修!免费指南+专业工具

📱📱📱还在为电子设备坏了而烦恼?这个网站手把手教你修好它!免费指南+专业工具,让你轻松掌握维修技能,节省维修费用,延长设备寿命!🔧🔧🔧

XiaoqiangClub的博客 503

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

【AI大模型】羊驼大模型详解_大模型 羊驼,零基础入门到精通,收藏这一篇就够了

• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;国内很多大模型都是学Alpaca模型的玩法,套壳LLaMA模型低成本训练出自己的模型。

heaven522的博客 2112

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

【AI大模型】羊驼大模型详解

LLaMa模型结构:前面的词预测后面的词,经典的解码结构。位置编码用的是旋转自编码。大语言模型为什么取名为LLaMa(美洲鸵)?LLM发音困难。两个LL跟绕口令一样挑战舌头。大家想给它加点原音,帮助发音。有人加了A,就是LLaMa。3.模型的训练和数据:65B的模型使用2048块A100 80G的GPU,训练21天左右。(训练成本还是比较高的,训练的数据集同GPT一样)LLaMa模型训练的数据集。

2401_84204413的博客 2534

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

【AIGC调研系列】Bunny-Llama-3-8B-V与其他多模态大模型相比的优劣

Bunny-Llama-3-8B-V是一个基于Llama-3的多模态大模型,它表现出色,超越了其他多模态大模型,特别是在识别、数学和推理能力方面。然而,它也面临着多模态大模型普遍的问题,如时序理解能力的局限性。

zachary的博客 1747

多模态大模型Qwen-VL和MiniCPM-Llama3-V-2_5初体验

QwenVL这个号称是国内最好的多模态大模型,阿里通义千问系列多模态大模型之一。QwenVL系列有3个大模型,分别是Qwen-VL-Chat&Qwen-VL-Plus & Qwen-VL-Max,其中Qwen-VL-Chat开源了代码以及模型权重,而Qwen-VL-Plus & Qwen-VL-Max这两个效果更加的模型,并未开源,但是可以通过🤗🤖网页端APP和API访问,而我们重点关注的是开源的Qwen-VL-Chat,后文简称QwenVL。

HUSTHY的博客 5534

Llama 4多模态大模型上线即开源

从上面测试的案例来看,LLama4 缺乏想 R3、o1 这样的推理能力,所以导致在需要仔细思考的问题下,答案往往是错的。

大模型教程的博客 1672

【大模型】开源大模型汇总以及微调策略

自从ChatGPT出世以来,各个大厂/研究院都纷纷推出自己的大模型,大模型领域发展一日千里。随着“百模大战”热度的降低,有必要梳理一下目前主流的大模型以及其变种模型,回顾一下。注:汇总开源模型。

桐原因的博客 8821

主流多模态大模型使用总结

本文测试了多模态大模型在不同硬件配置下的显存占用情况,重点分析了Qwen2.5-VL系列模型的参数规模与显存需求。测试显示:8G显存的4060显卡最多支持2-3B参数模型,32G显存的V100单卡可加载13-14B参数模型,而72B参数的Qwen2.5-VL量化版需双卡64G显存。文章提供了Qwen、LLaVA、BLIP2等多个视觉-语言模型的详细参数对照表,包括3B到72B不同规模的模型显存占用数据.

m0_63294504的博客 2640

2025年大模型架构演变全解析:从GPT到DeepSeek-V3,万字干货必收藏!

2025年主流开源大模型架构分析:DeepSeek-V3/R1、OLMo 2等模型通过多头潜在注意力(MLA)、混合专家(MoE)等创新设计,在保持性能的同时显著提升计算效率。MLA通过压缩键值对减少缓存占用,MoE稀疏激活实现参数高效利用。OLMo 2采用后置RMSNorm和QK-Norm优化训练稳定性。这些架构演变反映了大模型在推理效率、训练稳定性方面的持续优化趋势,虽未突破Transformer基础框架,但通过细节创新推动技术发展。

m0_74942241的博客 1178
上一篇: Llama也能做图像生成?文生图模型已开源
下一篇: 6000字长文告诉你:大模型「训练」与「微调」概念详解
爱喝白开水a
博客等级 码龄3年 6793粉丝 763原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值