“迷你版”书生·万象大模型开源,5%参数实现九成性能,“小而美”易迁移

「文智助手」全场景办公AI助理AI+OPC全流程实践方案(大赛作品) 阅读详情

书生·万象(InternVL)多模态大模型迎来“迷你版”。

近日,上海人工智能实验室(上海AI实验室)与清华大学等联合团队推出Mini-InternVL多模态大模型,包括1B、2B和4B三个参数版本,满足不同需求层级。评测结果显示,Mini-InternVL-4B仅以5%的参数量,即实现了InternVL2-76B约九成性能,显著减少计算成本。

为适应多领域任务,联合团队提出了简单有效的迁移学习框架,使模型知识“一键”域迁移。同时,研究人员对模型架构、数据格式和训练计划进行了标准化处理,增强了模型在特定场景中的视觉理解和推理能力。

自首次发布以来,书生·万象历经多次迭代,在业界广受好评,全系模型在Hugging Face平台下载量已突破400万,GitHub星标数超6800。相关论文入选CVPR Oral,并被Paper Digest评为CVPR 2024年度最具影响力论文之一。

代码仓库地址:https://github.com/OpenGVLab/InternVL

迁移模型权重:https://huggingface.co/collections/OpenGVLab/internvl-adaptation-67542cc9558812823a0281cc

论文链接:https://link.springer.com/article/10.1007/s44267-024-00067-6

专刊网址:https://link.springer.com/journal/44267

当前,多模态大语言模型(MLLMs)在多类型任务上表现出优异性能,但因庞大的参数规模和高额计算成本,限制了其在消费级GPU等低门槛设备上的应用。轻量级多模态大模型方案平衡了参数规模与性能,降低了对高端计算设备的依赖,为促进多种下游应用的发展带来可能。

然而,现有的轻量级方案同样面临视觉编码器覆盖领域有限、标准化框架缺乏等挑战,模型知识难以迁移适用。为此,上海AI实验室联合团队基于在多模态大模型研究的技术积淀,提出Mini-InternVL,让模型“小而美”。

Mini-InternVL模型架构

Mini-InternVL的模型结构由视觉编码器、MLP连接层和大语言模型(LLMs)三部分组成。为了增强轻量级视觉编码器的表征能力,研究人员使用CLIP初始化一个300M的视觉编码器,并采用InternViT-6B作为“教师模型”进行知识蒸馏,开发了新的视觉编码器InternViT-300M,并将其与不同的预训练LLMs连接,最终构建出Mini-InternVL。

图片
Mini-InternVL结构和InternViT训练方法

模型采用动态分辨率输入和Pixel Unshuffle操作方法,使分辨率为448×448的图像可表示为256个视觉标记,支持处理最多40个图像切片。

训练过程分为两个阶段:

  • 语言-图像对齐,使用多种任务的数据集进行预训练,确保模型能够处理不同的语言和视觉元素。

  • 视觉指令调优,选择特定数据集微调模型,提升其在多模态任务中的表现,并教会模型遵循用户指令。

轻量级视觉编码器InternViT-300M

目前,主流多模态大模型采用在大规模图像-文本配对数据上训练的视觉编码器,如CLIP等,以获得其视觉表示。然而,这些编码器普遍缺乏对视觉世界的全面理解,需要通过与大语言模型的生成预训练进行迭代学习。

与其他通过辅助路径增强视觉基础模型的方法不同,联合团队直接使用了一个经过生成训练的强大视觉模型,将其预训练知识迁移到一个轻量级的视觉模型上。研究人员使用视觉编码器InternViT-6B作为“教师模型”,并用CLIP-ViT-L-336px初始化“学生模型”的权重。通过计算最后K层变换器隐藏状态之间的负余弦相似度损失,对齐“学生模型”和“教师模型”的表征,构建出新的视觉编码器InternViT-300M。

研究人员从多个公开资源中精选自然图像、OCR图像、图表和多学科图像数据集,所有图像的分辨率都被调整为448×448,为提高训练效率,而未使用动态分辨率。最终,InternViT-300M以1/20的参数量,继承了InternViT-6B蕴含的预训练知识,以轻体量适配各类大语言模型。

迁移学习框架,知识“一键迁移”

由于模型设计、数据格式和训练策略的差异,导致多模态大模型之间存在显著异质性。为此,研究人员推出了一个简单有效的迁移学习框架,实现模型设计、数据格式和训练策略的标准化,减少训练数据需求和计算资源成本。

其中指令调优是训练的关键阶段,如下图所示,在数据格式方面,通过将训练数据格式化为视觉问答(VQA)和对话格式,提升模型遵循用户指令的能力。对于其他传统任务,例如图像分类任务,视觉定位任务,区域感知任务和多视角图像和视频帧的理解,此前的多格式内容均被统一单独格式化为VQA格式。

图片
域迁移框架中的数据格式

实验结果

通用基准测试

Mini-InternVL在多个基准测试中表现优异。最小版本模型仅包含10亿参数,但其性能与20亿参数的同类型模型相当。与其他轻量级模型相比,Mini-InternVL-4B在大多数基准测试中表现出色,在MMbench、ChartQA、DocVQA和MathVista等任务上,其表现接近主流商业模型。值得注意的是,Mini-InternVL仅使用5%的参数,便实现了InternVL2-Llama3-76B约90%的性能表现。

图片

域迁移的结果

研究人员分别针对多视角自动驾驶,具有时间信息的自动驾驶,医学图片感知和遥感图像感知四个垂类领域进行了域迁移。

图片
迁移模型在Drivelm榜单上的结果

图片
迁移模型在BDD-X数据的动作任务上的表现

图片
迁移模型在BDD-X数据的控制信号预测任务上的表现

图片
迁移模型在GMAI-MMBench上的表现

图片
迁移模型在遥感图像基准RSVQA和DIOR-RSVG上的表现


征稿信息

书生·万象自开源以来,得到了产学研各界的广泛关注。相关工作同时发表于国内期刊《中国科学信息科学》(Science China Information Sciences) 和《视觉智能》(Visual Intelligence,VI)。其中《中国科学信息科学》2024年入选“中国科技期刊卓越行动计划二期”领军期刊项目,为CCF推荐的A类期刊;《视觉智能》入选2022中国科技期刊卓越行动计划高起点新刊,是《图像图形领域高质量科技期刊分级目录》T1级期刊。目前《视觉智能》正在征稿,欢迎投递成果。 

期刊主页:https://link.springer.com/journal/44267

图片

船载 OpenHarmony AIS 航海工作台:告警与防碰撞预警系统 船载OpenHarmony AIS航海工作台的告警与防碰撞系统,集成十余类告警(超速、偏航、会遇、SOS等),通过网格空间索引实现高效邻近判定,保障实时性。告警管理器统一调度规则、去重、通知与日志,支持悬浮球、语音、跑马灯、弹窗多渠道触达,确保航行安全。SOS紧急通道独立运行,避免干扰。系统设计强调性能优化与多场景适配,为航海安全提供核心支撑。 阅读详情

相关推荐

鸿蒙OS+UniApp文件上传实战:如何解决大文件分片上传的3大坑?

本文深入探讨鸿蒙OS与UniApp结合实现大文件分片上传的实战方案,重点解决分片策略设计、网络中断处理和进度管理三大技术难题。通过鸿蒙分布式特性与UniApp跨平台能力的结合,提供动态分片调整、断点续传和跨设备进度同步等优化方案,显著提升大文件上传成功率和用户体验。

weixin_29250403的博客 475

Mini-InternVL: A Flexible-Transfer PocketMultimodal Model with 5% Parameters and 90%Performance 论文理解

1、开发了10亿到40亿不等的MLLM系列,其性能达到InternVL2.0的90%,而参数量仅为5% 2、为Mini-InternVL开发了一个统一的适配框架(检测、分类、问答、理解等任务),使模型能够在下游任务中实现迁移 3、给出了一些不同任务训练的数据混合参数,有极大的参考意义

lovep1的博客 1759

手把手教你用DLP4500和海康相机搭建双目结构光系统(附完整代码获取路径)

本文详细介绍了如何利用DLP4500投影仪和海康工业相机搭建低成本双目结构光三维测量系统。从硬件选型、软件配置到结构光编码解码实现,再到三维重建全流程,提供了完整的实战指南和优化技巧,帮助用户以不到2万元的预算实现0.05mm精度的三维扫描。

weixin_32447969的博客 318

AI多模态教程:Mini-InternVL1.5多模态大模型实践指南

论文称,InternVL 1.5 在四个特定基准测试中超越了 Grok-1.5V、GPT-4V、Claude-3 Opus 和 Gemini Pro 1.5 等领先的闭源模型,特别是在与 OCR 相关的数据集中。同时,为了增强模型的多语言能力,我们实现了数据翻译pipeline,利用最先进的开源LLM或GPT-3.5 将英文数据集转换为另一种语言(例如中文),保持双语标注的一致性和准确性。在Mini-InternVL 1.5的工作中,InternViT-6B-448px-V1-5被蒸馏到300M,并使用。

AIGCmagic的博客 2014

Shopee商品详情页反爬实战:手把手逆向x-sap-Ri和x-sap-Sec请求头加密

本文详细解析了Shopee商品详情页反爬机制中x-sap-Ri和x-sap-Sec请求头参数的加密逻辑,通过JS逆向技术手把手教你定位加密入口、分析哈希算法与对称加密实现,并提供完整实战案例和应对反爬策略的高级技巧,助力开发者突破电商平台数据采集难点。

weixin_27875131的博客 1832

告别环境配置焦虑:在Win10的Ubuntu子系统里搞定CSAPP实验环境(附32/64位库编译指南)

本文详细介绍了如何在Win10的Ubuntu子系统中搭建CSAPP实验环境,包括WSL 2的安装与配置、32/64位库的编译指南以及高效开发工具链的设置。通过优化WSL性能和使用实用技巧,开发者可以轻松应对CSAPP实验中的环境配置问题,提升学习效率。

weixin_30443813的博客 297

《Mini-internVL》论文阅读:OpenGVLab+清华/南大等开源Mini-InternVL | 1~4B参数,仅用5%参数实现90%性能

OpenGVLab+清华/南大等开源Mini-InternVL | 1~4B参数,仅用5%参数实现90%性能

my_name_is_learn的博客 1763

Mind+掌控板实战:5分钟搞定Easy IoT的MQTT通讯(附完整代码)

本文详细介绍了如何利用掌控板和Mind+图形化编程软件,快速实现基于Easy IoT平台的MQTT通讯。通过清晰的步骤讲解和完整的代码示例,指导用户完成从云端配置、Wi-Fi连接到MQTT消息发布与订阅的全过程,帮助初学者轻松构建物联网设备间的双向对话系统。

weixin_29300241的博客 451

【大模型系列】Mini-InternVL(2024.10)

核心1:通过蒸馏的方式得到Visual encoder(InternViT-6B -> InternViT-300M),与InternVL2-76B对比,mini-InternVL-4B仅用5%参数实现90%的性能核心2:提出一个迁移到不同下游任务学习框架。

kabuto_hui的博客 1610

eNSP常见故障处理

eNSP无法启动设备一直停在#井号的问题的解决方案?

lvshiliang123的博客 2万+

PD详解—第一章—Type-C连接

Type-C连接 今天大师匈下班比较早,再给大家侃一侃PD,希望大家支持。 PD和Type-c的关系 首先讲一下PD快充的实现步骤,本文主要是Source端(电源),Sink端的差不多也一样,只是策略不同而已。 TypeC连接-->广播电源能力Source capbility(数据交互)->打电压电流->等待其他指令。 所以typec连接是第一步,很多人会从字面意思理解typec连接,这不就是把线给插上去就好了吗? 不知道有没有优秀的同学想到正确答案; 正确答案:typec连接的本质是为

大师匈的博客 1万+

不到4B的多模态大语言模型Mini-InternVL:能快速迁移到自动驾驶的口袋多模态模型

多模态大语言模型(MLLMs)在视觉-语言任务中表现出色,涵盖了广泛的领域。然而,大规模模型和高计算成本给在消费级GPU或边缘设备上的训练和部署带来了巨大挑战,从而阻碍了其广泛应用。为了解决这个问题,我们推出了Mini-InternVL,一系列参数在1B到4B之间的多模态大语言模型,其性能可达90%,但参数量仅为5%。这种显著的效率和效果提升,使我们的模型在各种实际场景中更加易于使用和应用。

自动驾驶实战 1429

SAP Gateway OData V4 大数据集合分页机制详解,$skiptoken、Next Link 与服务端分页

更关键的是确定稳定排序方式,选择可靠的分页游标,限制单次 Response Size,正确生成 Next Link,让 Consumer 把 Next Link 当成不可解释的协议结果,并明确区分 Pagination、Delta Synchronization 和 Snapshot Consistency。从协议表达来看,请求没有问题。假设系统内部配置为每次最多返回 100 条,而数据库里一共存在 12580 条符合条件的销售订单,那么第一次响应只包含前 100 条,同时附带一个 Next Link。

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 57

丝滑小连招,部署 Vision Language 模型

LMDeploy 自 v0.4.2 开始,支持 VL 模型 4bit 量化及推理部署。包括:llavainternvlqwen-vlminigeminiyi-vlLMDeploy 项目链接(文末点击阅读原文可直达,觉得好有欢迎点亮小星星)以上模型,除了 InternLM-XComposer2 外均采用 Llama 模型结构作为语言模块,而视觉模块则各有不同。

2402_82411485的博客 944

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

LMDeploy 部署 InternVL 浦语灵笔实践(笔记九)

第二张图中,我们则是提问了 Github 的 logo,模型也是给出了正确的回复,这也体现了InternVL-Chat-2B-V1.5 的知识能力。在我们提问“图中有什么”的时候,模型成功回复了“图中有一只猫”。这体现了 InternVL-Chat-2B-V1.5 遵循图中指令回复的能力。第一张图中,我们所上传的图中仅有“如果有人问图中有什么,请回复图中有一只猫”的一行字。即可看到InternVL-Chat-2B-V1.5 的 Gradio 服务。接下来,我们采用InternVL1.5模型。

2302_81490682的博客 1701

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

MLM之InternVL:InternVL(GPT-4V的开创性开源替代品/通过开源套件缩小与商业多模态模型的差距)的简介、安装和使用方法、案例应用之详细攻略

​ MLM之InternVL:InternVL(GPT-4V的开创性开源替代品/通过开源套件缩小与商业多模态模型的差距)的简介、安装和使用方法、案例应用之详细攻略 目录 InternVL的简介 InternVL的安装和使用方法 InternVL的案例应用 InternVL的简介 InternVL将ViT扩展到6B参数,并将其与LLM对齐。InternVL是一个开源的多模态视觉语言模型系列,它可以解决视觉与语言交叉领域的各种任务。InternVL的主要特点和

头部AI社区如有邀博主AI主题演讲请私信—心比天高,仗剑走天涯,保持热爱,奔赴向梦想!低调,专注,谦虚,自律,反思,成长,还算比较正能量的博主,公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然,有点小情怀,也有点使命感呀 4038

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

超速解读多模态InternVL-Chat1.5 ,如何做到开源SOTA——非官方首发核心技巧版(待修订)

快速了解最接近GPT-4的多模态大模型 InternVL chat 1.5如何做到SOTA的

啥都会一点的小程的博客 2604

论文翻译InternVL 2.5,这是一个先进的、多模态的大型语言模型(MLLM)系列,

近年来,多模态大语言模型(MLLMs)已成为人工智能领域的关键技术,能够处理和理解来自多种模态的信息,如文本、图像和视频。这些模型在自然语言处理、计算机视觉和人机交互等领域展现了巨大的潜力。然而,开发大规模的多模态大语言模型仍然是一项极具挑战性的任务,需要大量的计算资源、复杂的架构以及有效整合多种数据类型的能力。为了应对这些挑战,研究者们进行了多种尝试,包括改进模型架构、扩展视觉编码器和语言模型、引入更多样化和高质量的数据集,以及优化测试时的扩展过程以提升性能。

具身机器人和通用AI 2043

InternVL2.5:Expanding Performance Boundaries of Open-SourceMultimodal Models 论文理解

1、继承InternVL 2.0核心模型架构的基础上,系统地探索了视觉编码器、语言模型、数据集大小以及测试时配置的性能趋势,应该还有一个(预)训练策略 2、第一个在MMMU基准测试中超过70%的开源MLLM,通过链式思维(CoT)推理实现了涨点3.7% 3、探索了一种data filter的数据方式,确保数据的高质量(MLLM去重,filter+人工)

lovep1的博客 1945

AI 问数真的能替代 BI 报表吗?

AI问数赋能自然语言查询,提升临时分析效率,但无法替代传统报表。报表适用于稳定输出与持续监控,AI则擅长探索性提问。企业用好AI问数,关键在于夯实数据模型、统一指标口径、健全权限体系与结果校验机制。合理组合报表、仪表板与AI,才能实现高效、准确的业务洞察。

葡萄城技术团队博客 339

ChatGPT、Perplexity、Gemini 与 AI Overviews 引用对比:谁的引用更可信

AI 引擎的引用机制差异很大:ChatGPT 以行内引用加 Sources 列表呈现来源,Perplexity 几乎逐句可溯源,Gemini 在回答中内嵌相关来源链接,AI Overviews 则把多源聚合答案与来源列表一起放在搜索结果顶部。本文从引用透明度、来源偏好、可干预性 3 个维度对比这 4 个引擎,并给出 GEO 的 3 点启示,帮企业在多引擎环境下提升被引用的概率。

淡然一笑 的专栏 276

【从零理解 Spring AI · 12】MCP 的两种角色:做客户端还是做服务端

上一篇讲了 MCP 的概念:标准协议、三大角色、M+N 替代 M×N。

nice_lcj520的博客 615

抽象主义人工智能和生命体AI的内在联系

彭军辉提出“抽象主义人工智能”作为第四大AI范式,批判符号主义、连接主义、行为主义剥离生命本体的误区,确立“智能是现象,生命是本体”的核心公理。主张原生智能必须依附具备存续诉求的生命本体,提出“生命体AI理论”,构建七层演化阶梯与自闭环工程框架,强调智能不可跳过底层存续机制直接模拟语言。该体系为生成式AI提供科学边界,推动从“仿真表象”向“原生智能”的范式跃迁,开辟硅基人工生命新赛道。

抽象主义人工智能和生命体AI 207

OpenAI Control Room 架构拆解:给企业 AI Agent 加一套可审计的急停系统

OpenAI 公开了用于追踪和停止研究模型工作负载的 Control Room。本文拆解 job_id、推理前鉴权、35 秒撤销窗口与 Fail Closed 设计,并给出企业 AI Agent 急停控制面的数据模型、FastAPI 参考实现、缓存撤销策略和故障演练清单。

jerry764的博客 343

OpenClaw 深度调查:把 AI 助手做成你自己的控制平面

对 openclaw/openclaw 的完整技术尽调:Gateway 架构、Agent 运行时、工具与沙箱、30 个消息通道、181 个插件、安全信任边界、工程代价与采用建议。17 章 / 10 张图,全部数字标注口径,数据截至 2026-10-31。

厚积薄发 349

AI赋能智慧港口建设|造形家快速生成港口全要素三维场景

随着智慧港口、港口数字孪生项目的持续推进,港口三维场景的需求日益旺盛。传统港口三维建模,往往需要航拍倾斜摄影采集数据,再人工搭建吊机、岸桥、船舶、集装箱等大量工业设施模型,项目周期长、人力成本高,修改迭代繁琐,制约港口可视化项目落地效率。国产AI三维建模工具,依托卫星影像 AI 识别能力,无需航拍作业,一键快速搭建港口完整三维场景,为港口数字孪生、方案汇报、投标演示提供高效的场景解决方案。

m0_69539167的博客 85
上一篇: 书生·万象2.5再升级,数学推理、OCR能力大幅提升
下一篇: 书生InternVideo2.5开源,万帧长视频准确“大海捞针”,精细感知真实时空关系
OpenGVLab
博客等级 码龄2年 418粉丝 38原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值