从CLIP到EAGLE:英伟达如何优化多模态大模型的视觉编码器

linux centos stream 9 定时任务 定时任务,也称为计划任务,指在规定时间执行某项任务。在各操作系统中都有此功能,如Windows下的计划任务:定时关机等。linux用户定时任务和系统定时任务是在Linux操作系统中用于自动执行特定任务的机制。它们基于cron(cron daemon)服务来完成的。cron是linux系统中以后台进程模式周期性执行命令或指定程序的服务软件。默认情况下,安装完linux操作系统之后,cron服务软件便会启动,服务对应的守护进程名字为crond。 阅读详情

近年来,多模态大语言模型(MLLMs)成为人工智能领域的热门研究方向,这些模型可以处理并理解不同类型的数据,例如图像和文本。当前的MLLMs主要依赖CLIP这种视觉编码器,但在处理图像细节和提高任务表现(如OCR识别和文档分析)方面仍存在不足。提升视觉处理能力不仅能减少模型产生幻觉的可能性,还能显著提升分辨率敏感任务的表现。

图片

为了探索MLLMs的最佳设计,研究人员对MLLMs的设计空间进行了深入探索,尝试结合多种视觉编码器和不同的图像分辨率,以找到最优的解决方案。他们发现,通过简单的方式将视觉标记串联起来,往往可以取得与复杂的混合架构相当的效果。这表明,有时简单的设计可能比复杂的方法更高效。

其中一个创新点是他们引入了“预对齐”方法,这种方法可以在训练早期阶段就增强视觉编码器和语言模型之间的连贯性,显著提升模型的性能。基于这些研究,研究人员开发了一组名为“Eagle”的MLLMs模型家族。在多个基准测试中,这些模型的表现超越了许多现有的开源模型,展示了其在多模态信息处理上的强大能力。

图片

在此背景下,研究人员对设计空间进行了深入探讨,着重优化视觉编码器,以进一步挖掘其潜力。

1. 深入探讨:设计空间探索与视觉编码器的优化


尽管大多数研究集中于新颖的融合策略或架构设计,研究人员们的目标则是通过识别并优化一系列设计选择,最大化视觉编码器的潜力。接下来,我们将逐步揭示这一过程的关键步骤:

第一步 - 从基础架构到专家系统

研究人员首先采用了LLaVA模型架构作为基础,这一架构由大语言模型、视觉编码器和投影层组成。在最初的实验中,他们使用了与LLaVA-1.5相同的预训练数据集,共包含595,000对图像和文本,后续的微调数据集则包含934,000个样本。在训练过程中,模型首先在这个数据集上进行了一轮训练,然后在更小的监督微调数据集上进行进一步优化,这些步骤为模型的基础性能打下了坚实基础。

图片

第二步 - 强化CLIP编码器:提升分辨率带来的惊喜

CLIP模型作为多模态模型中的佼佼者,具有广泛的应用前景。然而,CLIP在某些任务上的表现还不够理想。研究人员尝试通过增加图像分辨率来改善性能,结果表明:

  • 解冻CLIP编码器并插值到更高的分辨率(448×448)显著提升了模型的性能和效率。
  • 反之,冻结CLIP编码器并直接调整分辨率,反而导致性能下降。

图片

第三步 - 引入视觉专家:定制化策略的力量

为了进一步提升模型的多任务处理能力,研究人员引入了一系列在不同任务和分辨率下预训练的视觉专家。包括用于视觉语言对齐的CLIP和ConvNeXt、专注于物体识别的EVA-02、专注于OCR的Pix2Struct、专注于分割的SAM以及用于自监督学习的DINOV2。

通过调整这些视觉编码器的输出特征图,研究人员确保它们能够有效融合并增强模型在各自领域的表现。结果表明,使用这些专家编码器的多模态大模型在各自的预训练领域内表现出色。例如,EVA-02在物体识别任务中表现优异,而CLIP和ConvNeXt在多个基准测试中也展现了强大实力。

图片

第四步 - 融合策略的比较:寻找最佳方案

在多模态模型中,如何将不同的视觉编码器有效地融合在一起是一个关键问题。研究人员探讨了多种融合策略,包括序列附加、通道拼接、LLaVA-HR、Mini-Gemini等。结果显示,通道拼接在性能、可扩展性和效率之间取得了最佳平衡,他们选择了这种策略作为模型融合的主要方式。

图片

第五步 - 视觉-语言预对齐:减少不一致性,提升训练效果

在多模态模型的训练中,视觉编码器和语言模型之间可能存在表示不一致性,这增加了训练难度。为了解决这一问题,我们提出了“预对齐”训练阶段,先将视觉编码器与大型语言模型进行对齐。这一策略有效地减轻了视觉专家的固有偏差,显著提升了模型的整体性能。

图片

第六步 - 扩展到多专家:一步步走向卓越

最后,研究人员通过逐步添加更多的视觉编码器,进一步提升了模型的整体性能。他们采用了一种“逐步贪婪策略”,每次只添加一个新的视觉编码器,并保留最佳的组合,从而最终达到了性能的最大化。这种系统化的方法帮助我们在添加更多视觉专家后,成功提升了整体性能。

图片

接下来,我们将深入探讨Eagle模型结构和实验结果。这些实验验证了Eagle模型在多模态任务中的有效性,展示了它在视觉问答、OCR(光学字符识别)以及图表理解等领域的强大表现。

2. 模型架构


Eagle模型的架构设计基于多个现有的强大模型组合而成。在实验中,研究人员使用了不同版本的语言模型,如Vicuna-v1.5-7B、Llama3-8B和Vicuna-v1.5-13B,并结合了多种视觉编码器,包括CLIP、ConvNeXt、Pix2Struct和EVA-02,创建了Eagle-X4模型。为了进一步增强模型的视觉处理能力,他们在Eagle-X5中加入了额外的SAM视觉编码器。

图片

3. 实验结果


实验一 : 视觉问答任务评估

在视觉问答任务中,Eagle模型系列在GQA、VQAv2和VizWiz等基准测试中进行了性能评估。结果显示,Eagle-X5在GQA和VQAv2上的表现尤为突出,达到了当前最先进的水平。这表明,通过整合额外的视觉专家,Eagle模型能够更好地理解和回答视觉问题。

图片

实验二 : OCR和图表理解任务评估

Eagle模型在OCRBench、TextVQA和ChartQA等基准测试中也表现出色,特别是在TextVQA任务中显著超过了其他竞争对手。这种卓越表现得益于Eagle模型中高分辨率架构的应用以及多种视觉编码器的整合,使其在处理文字和图表等任务时更具优势。

图片

实验三 : 多模态基准评估

研究人员还在多个多模态基准(如MME、MMBench、SEED等)上测试了Eagle模型。结果显示,Eagle在推理、知识和OCR等多方面的任务中表现优异,特别是在SEED和MME的任务上展示了强大的处理能力。这表明Eagle模型不仅能够处理视觉任务,还能够在复杂的多模态环境中进行有效推理。

图片

实验四 : 与Cambrian-1的对比

最后,Eagle模型与Cambrian-1进行了对比,结果显示Eagle在所有评估基准上都表现得更为出色。特别是在OCR和图表理解领域,Eagle展现了显著的优势。此外,在通用任务、知识推理以及视觉中心任务中,Eagle的表现也更为稳定和一致,这反映了该模型在感知设计上的鲁棒性和泛化能力。

图片

通过这些实验的验证,Eagle模型的优势得到了充分体现,这为后续的研究结论奠定了坚实的基础。

4. 结论

这项研究为MLLMs的发展提供了新的思路和方法。通过对视觉编码器和融合策略的深入探索,研究人员不仅揭示了多模态模型设计中的一些基本原则,还开发出了一种简化但高效的设计方法,使得这些模型在实际应用中更加实用。未来,这些研究成果将进一步推动多模态人工智能的发展,特别是在需要精确视觉感知的领域。

如何学习大模型 AI ?

由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。

但是具体到个人,只能说是:

“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。

这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段(10天):初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么?
  • 大模型是怎样获得「智能」的?
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例:向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范
  • …

第二阶段(30天):高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示(Embeddings)
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署
  • …

第三阶段(30天):模型训练

恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。

到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2:手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建
  • …

第四阶段(20天):商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身:基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例:如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案
  • …

学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。

如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】
CentOS系统计划任务Crontab Linux系统的计划任务是指可以定期执行特定命令或程序的系统工具。计划任务可以自动执行,无需用户干预,可用于定期备份、日志清理、定时任务等。Crontab是Linux中的一种任务定时工具,可以帮助我们在指定时间自动执行特定的命令或脚本。Crontab可以在系统中设置多个定时任务,每个任务可以设置不同的执行时间、周期和执行命令。 阅读详情

相关推荐

Centos除cron外的其他定时器systemd(保姆及教程)

【代码】Centos除cron外的其他定时器systemd(保姆及教程)

weixin_45602900的博客 778

centos设置定时任务

您现在已成功设置了一个链接形式的任务。请注意,如果您的任务需要身份验证或需要其他 curl 选项,请在。您现在已成功设置了一个定时任务。如果您需要执行更多任务,请添加更多行,并根据需要设置时间和命令。中设置链接形式的任务。工具在 CentOS 中设置定时任务。这条命令表示在每天的 2 点整运行脚本。打开终端窗口并以管理员身份登录。打开终端窗口并以管理员身份登录。这条命令表示在每天的 2 点整,命令后添加额外的选项和参数。发送 HTTP 请求。

qq_27487739的博客 5224

Centos使用crontab定时任务

1. 简介 centos下的crontab指令是自带的,无需安装 crontab是Linux系统中最有用的工具之一,crontab定时任务是在指定时间执行指定任务 crontab在后台运行,通过配置 /etc/crontab 文件调度定时任务 2. 文件目录 /etc/crontab:存放着系统运行的定时任务,可以这样查看: [xxx@host ~]$ cat /etc/c...

Yvettre的博客 1692

Centos7 设置定时任务

linux 服务器设置定时任务。

weixin_38565317的博客 9632

centos7 linux定时任务详解

前言 工作中需要开启一个定时任务:每天晚上2点进行爬虫代码的运行,这不得不去学习一下linux 下的定时任务crontab crontab yum install crontabs 说明: /sbin/service crond start //启动服务 /sbin/service crond stop //关闭服务 /sbin/service crond restart //重...

徐代龙的技术专栏 1万+

linux centos 定时任务

本次使用centos 8系统 1.创建脚本(/usr/local/test/目录下) 创建删除文件 touch 1.txt 创建脚本 touch test.sh vi test.sh #! /bin/bash echo "hello world" rm -rf /usr/local/test/1.txt echo "删除成功" 保存成功后,给文件增加可执行权限 chmod +x /e...

感冒石头的博客 415

CentOS 定时任务 crond

查看定时任务是否开启: [root@VM_0_7_centos ~]# systemctl status crond 开启定时任务: [root@VM_0_7_centos ~]# systemctl start crond 关闭定时任务: [root@VM_0_7_centos ~]# systemctl stop crond 查看定时任务是否开机自启:...

2369

新手友好的PythonUI库PySimpleGUI项目已下架,切换4.50.6版本的方法

过期后,如果还想使用 PySimpleGUI,则需要切换到版本 4,而版本 4 在 GitHub 上有很多社区维护的版本可以选择。开发团队尝试了 7 年,但始终没能获得足够的收入来维持项目的运营,尤其是开源项目通常面临资金不足的问题。商业许可证是永久有效的,用户可以在支持期结束后依然使用应用程序,并会提供离线版本的文档以供参考。尽管项目关闭,但对购买了商业许可证的用户,团队仍会在接下来的一年内提供支持。

baidu_34681715的博客 6860

Linux—CentOS定时任务调度

详细的介绍了Linux中的crond ,at 指令的使用,适用于定时任务。

weixin_74200123的博客 1111

PostgreSQL+Citus分布式集群实战:从零搭建到性能调优

本文详细介绍了如何从零开始搭建并优化PostgreSQL+Citus分布式数据库集群。内容涵盖集群规划、源码编译安装、Citus扩展部署、节点配置、分布式表创建以及核心性能调优策略,为应对海量数据增长提供了完整的部署指南和实战解决方案。

oo7890的博客 630

算法交易VWAP&TWAP

VWAP的一些算法模型细节参考博客地址http://blog.sina.com.cn/s/blog_ad47bc5b01014elx.html 日内交易量预测模型http://blog.sina.com.cn/s/blog_976461170102v43p.html 算法交易其实主要是用在基金公司、券商量化比较多。例如我已经选好股,要大量买入,但是单凭交易员的操作海量单而且要完

shulixu的博客 1万+

centOS定时任务

I –r参数在生产中很少用,没什么需求必须要用-e进去编辑即可补充:crontab {-l、-e}实际上就是在操作/var/spool/cron/当前用户这样的文件。在CentOS系统中,定时执行命令通常依赖于cron服务,它通过crontab命令来设置。以下是配置和使用cron服务的基本步骤。通过crontab可以在固定的时间执行指定的系统指令,时间单位可以是分钟、小时、日、月、周以及以上的任意组合。

qq_31869525的博客 1277

永磁同步电机功率计算实战:从公式到避坑指南(附Excel计算模板)

本文详细解析永磁同步电机(PMSM)功率计算的实战技巧,涵盖三维参数体系、三相与单相系统差异、动态工况补偿及常见计算陷阱。特别提供Excel计算模板,帮助工程师快速准确完成功率计算,避免工业应用中的常见错误,提升工作效率。

x8y9z0的博客 809

Centos7定时任务-crontab

Linux crontab是用来定期执行程序的命令。当安装完成操作系统之后,默认便会启动此任务调度命令。crond 命令每分锺会定期检查是否有要执行的工作,如果有要执行的工作便会自动执行该工作。

孙霸天的专栏 5740

JavaScript - Blob / File / base64 使用场景介绍与相互转换

前言 本文首先介绍一下这三种对象使用场景,最后介绍下它们之间互转格式的解决方案。 您前端一旦涉及到文件或图片上传到服务器, 就势必离不了Blob/File/base64三种主流的类型。 Blob MDN:https://developer.mozilla.org/zh-CN/docs/Web/API/Blob 您可以观察到,像一些图片处理插件(例如有名的vue-cropper)图片裁剪插件, 它们将图片处理完毕后,都将使用blob对象返回处理好的图片,供开发者用于上传服务器。

🏆 前端领域优质创作者 4495

基于聚类特征工程的水果销量预测:聚类算法对比与多模型评估

水果销量预测研究:聚类分群与多模型对比 摘要 本研究提出了一种融合聚类分析与机器学习的水果销量预测方法。基于包含12个维度的销售数据集,首先采用K-Means、BIRCH和DBSCAN三种聚类算法对水果品类进行分群,通过轮廓系数等指标评估显示BIRCH算法表现最优(0.387)。随后针对不同群组构建差异化特征工程,并比较XGBoost、LightGBM和LSTM三种预测模型性能。实验结果表明:基于聚类特征工程的LightGBM模型预测效果最佳(RMSE=2.34,R²=0.87).

huanghm88的专栏 139

CentOS的定时任务

CentOS的定时任务: 1、查看定时任务 crontab -l 这个目录只能查看当前用户的定时任务,如果要知道所有人配置的crontab,看进入 /var/spool/cron 目录查看,如 # cd /var/spool/cron # ls es root 说明有es 和 root两个用户设置了定时任务,即一个文件代表了一个CentOS的用户 如果发现其中有非法的文件存在,需要去验证一下 /e...

跟着互联网 3156

一文读懂AUTOSAR CAN通信

在AUTOSAR的分层和模块化架构中,使用PduR(Protocal Data Unit Router)将总线或者网络数据进行抽象,使得上层应用不用关心信号的来源。本文从PduR下层的CAN Interface、CAN Driver和CAN Transceiver Driver模块介绍CAN总线在AUTOSAR架构中的工作机制以及信号的收发等功能。PduR以及COM等上层模块的介绍可以参考公众号内发布的历史文章。

酒无忧的博客 2496

CentOS7安装定时任务

CentOS7使用cron和anacron用来定期重复执行指令 1.服务安装 1.1 查看是否安装yum-cron rpm -q yum-cron 1.2 安装cronie yum -y install cronie 1.3 安装yum-cron yum -y install yum-cron 1.4 备注 单独安装yum-cron也可以,...

weixin_34218579的博客 2200

Dify智能体开发:发布嵌入网站

Dify 支持将你的 AI 应用嵌入到业务网站中,你可以使用该能力在几分钟内制作具有业务数据的官网 AI 客服、业务知识问答等应用。点击 WebApp 卡片上的嵌入按钮,复制嵌入代码,粘贴到你网站的目标位置。

王国平的博客 3247

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

CentOS定时任务

其中,五个星号分别代表分钟、小时、一个月中的日期、月份和一周中的日期。每个字段可以是特定的数字,或者使用特殊字符如。此外,如果你的脚本需要在特定的环境变量下运行,你可能需要在。这样,脚本的标准输出和错误输出都会被写入到指定的日志文件中。文件中设置这些环境变量,或者在脚本中直接指定它们。这将打开一个编辑器,允许你添加或修改定时任务。服务将自动加载更改,并根据新的定义执行任务。请注意,确保你的脚本或命令具有执行权限,否则。这将列出所有已设置的定时任务。文件的更改,并退出编辑器。

ItContentShare 1983

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

CentOS 7 定时任务 crontab

到达指定时间之后,查看 /root 目录下是否已经有了 test.tar 压缩包,如果有说明定时任务执行成功;如果显示结果为 Active: active (running) 则表示运行中,Active: inactive (dead) 表示未运行。这里我们以一个「每天晚上定时将指定文件夹打包成压缩包」的任务为例,说明设置定时任务的步骤。再例如,你要每隔 5 分钟检查某个服务是否在运行,也可以使用 crontab 来实现。按 Esc 键,再输入 :wq 保存,当然你也可以修改为临近的时间,测试是否生效。

AF黑眼圈患者的博客 2630

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

centos 定时任务

centos 定时器 Usage: crontab [options] file crontab [options] crontab -n [hostname] Options: -u <user> define user -e edit user's crontab -l list user's crontab -r delete user's crontab -i prompt before deleting

367

Centos 定时任务

可以先安装yum install vixie-cron(一般安装了vixie-cron就不需要安装后者了) yum install crontabs1.在终端(不需要切换盘符) 运行crontab -e 命令 会打开文件 在文件里编写任务例如; */1 * * * * /usr/bin/python /root/task/test.py2.service crond start/stop/stat...

尼古拉斯鹏 627

Centos7 定时任务

2019独角兽企业重金招聘Python工程师标准>>> ...

weixin_34168880的博客 133

开发日记——centos定时任务

由于采购试用的系统不稳定,需要不时重启,在我不在的时候遇到问题没法处理,所以我打算在服务器上加个定时任务重启应用服务。 说到centos上最常用的定时任务应该就是crontab了,我这里记录下使用步骤和遇到的问题。 安装 一般情况下crond、crontab是安装好的,如果你的服务器上没有crontab,直接用yum去安装crond或者crontab因为你会发现找不到包,其实这个包应该是cronie。 yum install -y cronie 常用命令 ...

V_S1r的博客 926
上一篇: 多模态模型‘遗忘’原有的语言能力,回答不详细、理解力下降!这个痛点你遇到过吗?
下一篇: 多模态大模型如何改变我们的生活?
冻感糕人~
博客等级 码龄3年 8926粉丝 2399原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值