InternVL 2.0:多模态大模型新标杆

InternVL2-1B成社区最喜爱的多模态大模型?低门槛微调教程来啦 在训练脚本 /root/code/XTuner/xtuner/configs/internvl/v2 /internvl_v2_internlm2_2b_qlora_finetune.py 里,这个参数默认值是 lr = 1e-6。/root/code/XTuner/xtuner/configs/internvl/v2 文件夹里,有一个 internvl_v2_internlm2_2b_qlora_finetune.py 文件,这个文件是用 qlora 方法去微调 InternVL2 系列模型的一个脚本。 阅读详情

7月4日下午,世界人工智能大会科学前沿论坛, 我们发布了InternVL 2.0,中文名称为"书生·万象”,相比业内公认的最强多模态大模型InternVL-1.5,能力又上新台阶。它在关键评测指标比肩国际顶尖商用闭源模型,支持图像、视频、文本、语音、三维、医疗多种模态,百种下游任务性能媲美任务专用模型。 同时,书生万象也是国内首个在MMMU(多学科问答)上突破60的模型,堪称开源多模态大模型性能新标杆。数学基准MathVista的测试中、书生万象的得分为66.3%,显著高于其他闭源商业模型和开源模型。在通用图表基准ChartQA、文档类基准DocVQA、信息图表类基准InfographicVQA中以及通用视觉问答基准MMBench (v1.1)中,书生万象也取得了最先进(SOTA)的表现。科学图表基准AI2D的测试中,书生万象大幅领先其他优秀的开源模型,并与商业闭源模型不相上下。

图中红色数字为所有已知模型最先进(SOTA)的表现,可见InternVL 2.0能力比1.5版本有了全面提升。

代码开源/模型下载/试用/微调/部署(点击“阅读原文”直达):

https://github.com/OpenGVLab/InternVL

试用Demo:

进入上述链接,点击“Chat Demo”(目前此网站仅提供加固过滤版模型试用,拒答属正常现象。)

图片

为什么要做多模态大模型

2022年,OpenAI的ChatGPT引爆大语言模型(LLM)热潮,人工智能大模型行业风起云涌,国外顶尖机构相继跟进,LLaMa、Cluade、Mixtral、Qwen、ChatGLM、Kimi、浦语等优秀的大语言模型竞争日渐胶着,能力不分高下。然而,人工智能的能力不能止于文字,面对万象缤纷的真实世界,LLM似乎难以领会。

图灵奖得主Yann LeCun曾在一次采访中指出,为什么猫狗没有语言,但对世界的理解却比任何 LLM 都要好?这个问题17 世纪的 Sensim 学派哲学家可以回答:因为没有感知就没有认知。生物在5亿年进化出视觉 ,1万年前才有智人语言/现代人语言,视觉的信息带宽(约20MB/s)远高于语言信息带宽(约12bytes/s) 。LeCun 认为,没有视觉就无法建立对世界有深刻理解的模型,纽约大学助理教授谢赛宁则直言“现有的单纯的语言模型是一个盲人摸象般被遮蔽了双眼的博学的系统”。

InternVL对摄影作品的构图分析(详情见本文第4部分:真实世界感知实例)

就这样,多模态来到人工智能的浪潮之巅。国际顶尖机构相继入局,谷歌推出Gemini Pro1.5,OpenAI推出GPT-4O等商业闭源模型。书生大模型从视觉生根,一路走来,如今进化为书生·万象多模态大模型。“万象”代表我们对多模态大模型的愿景,即理解真实世界一切事物和景象,实现全模态全任务的通用智能。它涵盖图像,视频,文字,语音、三维点云等多种模态,首创渐进式对齐训练,实现了首个与大语言模型对齐的视觉基础模型,通过模型”从小到大”、数据”从粗到精"的渐进式的训练策略,以1/5成本完成了大模型的训练。它在有限资源下展现出卓越的性能表现,横扫国内外开源大模型,媲美国际顶尖商业模型,同时也是国内首个在MMMU(多学科问答)上突破60的模型。它在数学、图表分析、OCR等任务中表现优异,具备处理复杂多模态任务、真实世界感知方面的强大能力,是当之无愧的最强多模态开源大模型。

三年演进,多模态先行者的实至名归之路

图片

2021年推出国内首个广泛覆盖多种视觉任务的大模型书生。2022年发布通用视觉大模型InternImage,实现一个模型在COCO 物体检测,ImageNet图像分类等视觉标杆任务上同时达到世界最佳性能。 2023年底 , 图文大模型InternVL 1.0以1/3参数量超谷歌视觉模型ViT-22B,减小80%训练成本。2023年5月发布的InternVL-1.5版本智源评测(点击了解)、司南评测(点击了解)等权威榜单认证,性能比超国际上的一系列闭源模型,如Open AI公司的GPT-4V、谷歌Gemini Pro等。在国际最大的人工智能开源社区HuggingFace 开源后,即登顶模型下载量增长趋势榜单,位居首位达到一个月之久,并迅速跻身视觉语言基础模型总下载量榜单上排列前10(点击了解)。如今,我们隆重推出书生·万象多模态大模型(InternVL 2.0)。关键评测指标比肩国际顶尖商用闭源模型,支持图像、视频、文本、语音、三维、医疗多种模态,百种下游任务性能媲美任务专用模型。

更少资源、更高性能,世界领先不止于数值

数值表:关键评测优于国际顶尖商业模型

书生·万象在处理复杂多模态数据方面具有强大能力,尤其是在数学、科学图表、通用图表、文档、信息图表和OCR等任务中表现优异。书生·万象在多个基准测试中表现出色,书生·万象多模态大模型是国内首个在MMMU(多学科问答)上突破60的模型,在视觉基准MathVista的测试中、书生·万象的得分为66.3%,显著高于其他闭源商业模型和开源模型。在通用图表基准ChartQA、文档类基准DocVQA、信息图表类基准InfographicVQA中以及通用视觉问答基准MMBench (v1.1)中,书生万象也取得了最先进的表现。在科学图表基准AI2D的测试中,书生万象大幅领先其他优秀的开源模型,并与商业闭源模型不相上下。

数值对比表

图片

通专融合 万象理解万物

图片

书生万象具有千亿规模参数,支持图像,视频,文字,语音、三维点云等模态。为了使模型能够支持丰富的输出格式,书生万象首次使用了向量链接技术,链接各领域专用解码器,打通梯度传输链路,实现通专融合,支持检测、分割、图像生成、视觉问答等百种细分任务,性能媲美各领域的专家模型。为了训练书生万象模型,我们从各类来源构建了最大图文交错数据集OmniCorpus,包含约160亿图像,3万亿文本词元,相比现有开源图文数据集 ,图像数量扩大了三倍,文本数量扩大了十倍。

首创渐进式对齐训练,实现首个与大模型对齐的视觉基础模型

传统的预训练范式直接使用大模型+大数据进行一步到位训练,需要大量的算力资源。为了提高训练效率,研究团队首创了渐进式训练策略,先利用小模型在海量带噪数据上进行高效预训练,然后再使用大模型在较少高质量精选数据上进行高效对齐,模型"从小到大",数据"从粗到精",仅需20%的算力资源即可取得同等效果。采用这种训练策略,我们实现了首个与大模型对齐的视觉基础模型,同时,我们的多模态大模型,展现出卓越的性能,在MathVista(数学)、AI2D(科学图表)、MMBench(通用视觉问答)、MM-NIAH(多模态长文档)等评测上可比肩GPT-4o、Gemini 1.5 Pro等闭源商用大模型。

真实世界感知实例展示

检测样例展示

加大一些难度测试万象的视觉能力。输入一张车流密集的交通图,让它检测出所有车辆、行人和交通灯,它很快给出对应物体的坐标和检测框。亲爱的读者朋友仔细可以找找看,交通灯一共有几个?

图片

行人和车辆的检测,对于InternVL 2.0来说是一般任务

图片

交通灯有点难度,模型给出的检测结果是5个。远处的2个不容易看到,我们做了放大效果图,看来InternVL的视力很不错呢!

图片

目前多模态技术仍处于早期发展阶段,距离人类专家性能还相距甚远,发展空间潜力巨大。上海人工智能实验室致力于开源和开放的研究,旨在推动原创技术的发展,带来技术革新和行业进步。多模态大模型必将为AI发展带来比LLM更高的浪潮,希望各界同行与我们一起探索多模态大模型关键问题,共建多模态大模型生态!

代码开源/模型下载链接:

https://github.com/OpenGVLab/InternVL

试用Demo:

进入https://github.com/OpenGVLab/InternVL,点击“Chat Demo”,目前仅提供加固过滤版模型试用,输出效果可能与文中展示有误差

OmniCorpus开源/数据下载链接:

(目前规模最大的图文交错数据集)

https://github.com/OpenGVLab/OmniCorpus

MM-NIAH开源/数据下载链接:

(首个针对多模态长文档理解能力的评测基准)

https://github.com/OpenGVLab/MM-NIAH

多模态大模型 intern_vl 2.0版本解读 (还是internvl1.5)我们介绍了InternVL2,这是目前最强大的开源多模态大语言模型(MLLM)。InternVL2家族包括从适合边缘设备的1B模型到显著更强大的108B模型。通过更大规模的语言模型,InternVL2-Pro展示了出色的多模态理解能力,在各种基准测试中表现与商业闭源模型相当。 阅读详情

相关推荐

再创开源多模态大模型性能标杆,书生·万象3.0升级发布,创新预训练方法

驱动科学研究的人工智能正逐渐改变科学研究的模式,在探索以通专融合实现通用人工智能(AGI)的进程中,通用基座大模型,尤其是具备跨模态理解能力的多模态大模型至关重要——多模态大模型的创新突破,将大幅提升模型同时处理文本、图像、视频等数据的能力,从而为科研创新提供基础性支撑。2025年4月16日,上海人工智能实验室(上海AI实验室)升级并开源了通用多模态大模型书生·万象3.0(InternVL3)。

OpenGVLab的博客 1414

InternVL 最佳实践 swift微调

自定义数据集支持json, jsonl样式, 以下是自定义数据集的例子:(支持多轮对话, 图片支持传入本地路径或URL, 多张图片用逗号’,’分割)(支持纯文本数据)InternVL2模型除了以上数据格式外, 还支持多图多轮训练, 使用tag<image>标明图片在对话中的位置, 如果数据集中没有tag<image>, 默认放在最后一轮query的开头或者用表示图像路径和图像位置InternVL2模型支持视频数据集训练, 无需标明tagInternVL2。

具身机器人和通用AI 2976

首发支持! 基于昇腾MindIE玩转InternVL3多模态理解最新模型

上海AI实验室开源了多模态大模型InternVL3.0,该模型在10亿-780亿参数规模下均取得开源模型性能第一,并在GUI智能体、图纸理解等专业场景表现出色。评测显示其性能接近闭源模型Gemini-2.5-Pro。模型已适配昇腾MindIE和MindSpeed平台,开发者可通过魔乐社区下载不同参数版本。文档详细说明了基于昇腾平台的部署流程,包括环境配置、容器创建及服务化推理方法,支持图像/视频理解等任务。该模型的开源为多模态AI应用提供了新选择。

2401_87243659的博客 2083

不到4B的多模态大语言模型Mini-InternVL:能快速迁移到自动驾驶的口袋多模态模型

多模态大语言模型(MLLMs)在视觉-语言任务中表现出色,涵盖了广泛的领域。然而,大规模模型和高计算成本给在消费级GPU或边缘设备上的训练和部署带来了巨大挑战,从而阻碍了其广泛应用。为了解决这个问题,我们推出了Mini-InternVL,一系列参数在1B到4B之间的多模态大语言模型,其性能可达90%,但参数量仅为5%。这种显著的效率和效果提升,使我们的模型在各种实际场景中更加易于使用和应用。

自动驾驶实战 1429

使用InternVL、LMDeploy和GTE搭建多模态RAG系统

在我们的案例中,我们使用InternVL2分析时尚图片,并推荐可以与原始服装相配的单品。为了实现这一点,我们编写了一个提示,要求大模型对建议的物品是否与原始服装相匹配的问题,做出简单的“是”或“否”回答。最佳实践流程图如下,本文主要通过多模态RAG搜索相似的衣服,并推荐最佳搭配,其中主要考察了多模态模型的图片描述生成(稳定生成JSON格式)以及多图对比的能力。查找匹配项目:我们使用该find_matching_items_with_rag函数在过滤的数据集中查找与从分析的图像中提取的描述匹配的项目。

OpenGVLab的博客 1372

InternVL-U轻量级多模态大模型技术解析与应用

Transformer架构作为现代深度学习的基础组件,通过自注意力机制实现了对序列数据的高效建模。其核心原理是利用键值查询机制捕捉长距离依赖关系,在自然语言处理和计算机视觉等领域展现出强大性能。技术价值在于统一的建模框架可以显著降低模型复杂度,提升计算效率。实际应用中,动态注意力门控和混合专家系统(MoE)等创新设计,使得轻量级模型如InternVL-U能在多模态理解、生成与编辑任务中保持优异表现。这类4B参数的紧凑模型特别适合部署在资源受限的边缘设备,为智能文档处理、交互式内容创作等场景提供高效AI支持,

weixin_34301132的博客 418

InternVL2 VS Qwen2-VL,多模态大模型评测实践

InternVL2是由上海人工智能实验室 OpenGVLab 发布的一款多模态大模型,其中文名称为“书生·万象该模型在多学科问答(MMMU)任务上表现出色,成为国内首个在该任务上性能突破60的模型,被誉为开源多模态大模型性能的新标杆。InternVL2官方性能评测结果,来源:https://github.com/OpenGVLab/InternVLQwen2-VL是阿里巴巴达摩院开源的视觉多模态 AI 模型,具备高级图像和视频理解能力。

m0_59235245的博客 6017

从图像到万象,InternVL 2.0 书生·万象多模态大模型发布!

目录收起代码开源/模型使用方法:76B大模型,司南评测优于GPT-4O8B端侧小模型,消费级单卡可部署试用Demo:正文开始!

具身机器人和通用AI 2923

VLMEvalKit 评测实践:InternVL2 VS Qwen2VL

多模态技术的突破,正在改变我们理解和交互世界的方式。无论是强大的感知能力、复杂的推理分析,还是图文融合的创新应用,InternVL2 与 Qwen2-VL 展现了大模型的无限可能。

m0_55303420的博客 4540

从CD4051到现代模拟开关:40年芯片演进史与选型避坑指南

本文回顾了从CD4051到现代模拟开关的40年技术演进,详细对比了导通电阻、带宽等关键参数的显著提升。通过实际案例和选型矩阵,揭示现代模拟开关在精度、功耗和集成度方面的优势,并提供高精度测量、电池供电等场景的选型策略与避坑指南,帮助工程师优化设计。

weixin_42543046的博客 154

Cadence Allegro PCB文件对比实战:3分钟搞定两份设计差异(附颜色标注技巧)

本文详细介绍了如何高效使用Cadence Allegro的Design Compare功能进行PCB文件差异对比。通过实战工作流,可在3分钟内精准定位并理解两份设计在布局、布线、元件等方面的关键差异,并分享了自定义颜色标注技巧,帮助工程师快速聚焦重要修改,提升设计评审与团队协作效率。

weixin_29248653的博客 383

开源多模态大模型新标杆 InternVL3-78B-AWQ:一文读懂项目全貌与核心亮点

**InternVL3-78B-AWQ** 是上海人工智能实验室(OpenGVLab)推出的**开源多模态大模型** InternVL3-78B 的 4-bit AWQ 量化版本,属于「书生·万象」系列。它采用 ViT-MLP-LLM 架构,将 6B 参数的视觉编码器与 72B 语言模型深度融合,支持图像理解、视频分析、多图对比、GUI 操作与 3D 感知等能力。本文将从架构、量化、训练、部署四个

gitblog_01125的博客 609

别再手动算频谱了!用这个在线FFT工具,5分钟搞定JSON/CSV数据分析

本文介绍了一款高效的在线FFT工具,帮助用户快速分析JSON/CSV格式的时域数据,5分钟内完成频谱分析。通过傅里叶变换(FFT)算法,大幅提升计算效率,解决传统手动计算的痛点,适用于工业振动分析、设备故障诊断等场景。

weixin_29172201的博客 264

从 0 插件到全部加载:BepInEx IL2CPP 的安装、验收与排障

BepInEx IL2CPP 把 .NET 插件带进编译为原生代码的 Unity 游戏进程:它接管启动、拉起 CoreCLR、按游戏版本生成互操作程序集,再逐个加载 `plugins` 目录下的插件。装好的具体标志是 `BepInEx/LogOutput.log` 中出现 `N plugins to load` 且 `N` 大于 0,每个插件各有一行 `Loading [GUID]`。本文按三条通

gitblog_00942的博客 425

三极管自激升压电路设计 - 从参数计算到实践验证

本文详细解析了三极管自激升压电路(焦耳小偷电路)的设计原理与实践方法。通过剖析自激振荡机制与三极管电流关系,指导读者完成从核心参数计算、关键元件选型到面包板搭建调试的全过程。文章重点阐述了如何利用电感、三极管等基础元件实现低压直流到高压的转换,是理解开关电源与电磁能量转换的绝佳实践项目。

weixin_29250573的博客 372

ROS实践(四)机器人SLAM建图(gmapping)

本文介绍了SLAM技术及其实现方法。SLAM(同步定位与地图构建)让机器人在未知环境中通过传感器数据自主定位并构建地图。文章详细讲解了激光雷达、RGBD相机等常用传感器,以及gmapping和map_server这两个ROS功能包的使用方法。重点阐述了SLAM建图实验步骤:配置gmapping节点参数、启动机器人仿真、运行gmapping节点、使用rviz可视化工具、通过键盘遥控机器人完成地图构建并保存。实验结果表明,该方法能有效实现机器人自主建图功能,为后续导航等应用奠定基础。

qq_1033275663的博客 4344

100行代码搞定智能会议纪要生成:InternVL3-78B多模态模型实战指南

你是否还在为冗长会议后的纪要整理焦头烂额?是否经历过因漏记关键决策导致项目延期?本文将带你用业界领先的多模态大模型InternVL3-78B,从零构建一个智能会议纪要生成器,全程仅需100行代码,让AI帮你自动提取会议要点、整理决策事项、生成行动清单。 读完本文你将掌握: - InternVL3-78B模型的本地部署与优化技巧 - 多模态输入(音频转文本+幻灯片解析)处理流程 - 会议纪要结构化

gitblog_02527的博客 537

AttributeError: module ‘numpy‘ has no attribute ‘int‘解决方案

本文主要介绍了AttributeError: module ‘numpy’ has no attribute 'int’解决方案,希望能对使用numpy的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案 2.1 方案一 2.2 方案二

weixin_43178406的博客 28万+

InternVL3.5-30B-A3B:开源多模态模型新突破

OpenGVLab团队发布的InternVL3.5-30B-A3B开源多模态大模型,通过创新的级联强化学习和动态视觉分辨率技术,实现了推理性能提升16%与4.05倍推理加速的双重突破,显著缩小了开源模型与GPT-5等商业模型的性能差距。 ## 行业现状 多模态大模型(MLLM)正成为人工智能领域的发展焦点,其通过融合视觉与语言能力,在内容理解、复杂推理等任务中展现出巨大潜力。当前行业面临两大核心

gitblog_01048的博客 324

【全网最全最详细】Spring与SpringBoot面试题

1.1 什么是Spring?spring的核心实现思想IOC,由spring来负责控制对象的生命周期和对象间的关系。注意以前对于一个类型(类),手动的使用new来实例化这个对象变量,现在不用你new了,交给spring控制。在传统的开发中,在一个类定义另一个类的实例,这样的话,互相依赖,耦合在一起。spring的思想是两个类是独立的,用的时候在往里放,即轻松解耦。1.2 spring优点有哪些?答:可以从四个方面来答,解耦、切面、方便集成各种优秀框架、一站式。

qq_38196449的博客 1039

JavaScript - Blob / File / base64 使用场景介绍与相互转换

前言 本文首先介绍一下这三种对象使用场景,最后介绍下它们之间互转格式的解决方案。 您前端一旦涉及到文件或图片上传到服务器, 就势必离不了Blob/File/base64三种主流的类型。 Blob MDN:https://developer.mozilla.org/zh-CN/docs/Web/API/Blob 您可以观察到,像一些图片处理插件(例如有名的vue-cropper)图片裁剪插件, 它们将图片处理完毕后,都将使用blob对象返回处理好的图片,供开发者用于上传服务器。

🏆 前端领域优质创作者 4495

论文简读:InternVL3| Exploring Advanced Training and Test-Time Recipes for Open-Source Multimodal Models

介绍InternVL3(InternVL系列重大升级):实现原生多模态预训练(预训练阶段同步习得语言与多模态能力,规避传统后训练复杂优化难题)。核心技术:引入可变视觉位置编码(支持更长多模态上下文)、结合有监督微调与混合偏好优化等先进后训练策略、采用测试阶段缩放方案。性能表现:全品类多模态任务树立开源模型新标杆,保留强大语言能力;InternVL3-78B在MMMU基准测试中72.2,超越现有开源多模态大语言模型,显著缩小与闭源旗舰模型的性能差距。

a486259的博客 1703

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

NemoClaw 托管运行时提供者(Runtime Provider)实现与评审指南:Provider 中立架构、13 步实施序列与安全审查清单

> 本文围绕 NemoClaw 维护者技能库中的核心参考文献 [implementation-and-review.md](https://link.gitcode.com/i/2b8275cc1d7ec03fbdfe00edaaeca28e) 展开,系统讲解在 NemoClaw(NVIDIA OpenShell 上安全运行 Hermes、LangChain Deep Agents、OpenCla

gitblog_00860的博客 156

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

Qwen3-VL-2B与InternVL对比:CPU推理延迟实测数据分享

本文介绍了如何在星图GPU平台上自动化部署Qwen/Qwen3-VL-2B-Instruct视觉理解机器人镜像,实现低延迟CPU端图文理解任务。用户可快速启用该模型处理商品图OCR识别、文档截图信息提取等典型场景,无需GPU即可获得稳定、精准的多模态推理能力。

weixin_42613360的博客 367

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

InternVL-U多模态AI:跨模态理解与生成技术解析

多模态AI技术通过融合计算机视觉与自然语言处理,实现了跨模态信息的深度理解与生成。其核心原理在于构建统一的编码器架构,如InternVL-U采用的视觉Transformer与语言模型混合设计,通过跨模态注意力机制实现特征对齐。这种技术显著提升了AI在复杂场景下的应用价值,例如在电商领域能同时解析商品图像与用户评论,或在医疗场景中结合病理切片与病史文本生成诊断报告。关键技术如动态token压缩和渐进式解冻策略,有效解决了高分辨率图像处理与模态间特征冲突的工程挑战。随着多模态预训练模型的演进,AI系统正从单任务

weixin_33720078的博客 393
上一篇: 联培生佳作 | 利用更易广泛获取的人体掩膜,实现SOTA无监督3D姿态估计 | ECCV 2024
下一篇: 上海人工智能实验室通用视觉团队获EgoVis CVPR 七个赛道冠军
OpenGVLab
博客等级 码龄2年 418粉丝 38原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值