全量级开源多模态大模型书生·万象InternVL2.5全面升级

再创开源多模态大模型性能标杆,书生·万象3.0升级发布,创新预训练方法 驱动科学研究的人工智能正逐渐改变科学研究的模式,在探索以通专融合实现通用人工智能(AGI)的进程中,通用基座大模型,尤其是具备跨模态理解能力的多模态大模型至关重要——多模态大模型的创新突破,将大幅提升模型同时处理文本、图像、视频等数据的能力,从而为科研创新提供基础性支撑。2025年4月16日,上海人工智能实验室(上海AI实验室)升级并开源了通用多模态大模型书生·万象3.0(InternVL3)。 阅读详情

2024年12月5日,上海人工智能实验室(上海AI实验室)开源了多模态大模型书生·万象2.5(InternVL2.5)。相较于今年7月发布的版本,书生·万象2.5在多个方面取得了突破:

  • 实现全量级开源多模态性能第一(见图1),开源参数涵盖10亿~780亿;

  • 在多模态长链推理方面,在专家级多学科领域知识推理基准测试MMMU中取得突破70%的成绩(仅次于目前最高分的OpenAI o1);

  • 通用能力显著加强,在跨学科推理、文档理解、多图像/视频理解、现实世界推理、多模态幻觉检测、视觉定位、多语言等能力方面均有不同程度的提升,维持在世界领先水平;

  • 纯语言能力完全保持,在不牺牲语言能力的情况下实现优异的多模态性能。

通过在训练、测试策略和数据质量等方面不断取得新突破,书生·万象2.5将提供性能更强、效率更高的多模态基座模型,进而为相关学术研究和产业应用做出贡献。

图1: 在OpenCompass榜单上,书生·万象2.5(InternVL2.5)在10亿~780亿量级多模态大模型中展示出强大的多模态能力,可与闭源模型相媲美,MMMU性能突破70%

技术报告链接:

https://huggingface.co/papers/2412.05271

代码开源/模型使用方法:

https://github.com/OpenGVLab/InternVL

模型地址:

https://huggingface.co/OpenGVLab/InternVL2_5-78B

▌MMMU突破70%:开创开源多模态大模型新基准

以大模型为代表的通用人工智能正迎来突破性进展,逐渐成为推动新质生产力发展的核心引擎。近年来,多模态大模型作为人工智能领域的核心技术之一,已成为各大科研机构和企业的重点布局方向。

目前,部分商业化的多模态大模型已展现出卓越的性能,但其封闭性限制了透明度和可访问性,给开发者带来了挑战;书生·万象(InternVL)系列开源多模态大模型提供了高性能的替代方案,但在性能和效率方面仍有提升空间。

基于此现状,书生·万象2.5在训练、测试策略和数据质量等方面不断取得新突破,从而提供更强大的多模态基座模型,进而为相关学术研究和产业应用创新做出贡献。

研究人员对书生·万象2.5在多个权威基准数据集上进行了广泛评估——评估涵盖跨学科推理、文档理解、多图像/视频理解、现实世界推理、多模态幻觉检测、视觉定位、多语言能力以及纯语言处理等任务。结果显示,书生·万象2.5展现出了可与领先商业模型媲美的卓越性能。

作为首个在MMMU验证集上突破70%的开源多模态大模型,书生·万象2.5成为了继OpenAI o1后第二个MMMU性能突破70%的模型。

▌大规模视觉编码器、数据质量提升与思维链驱动性能突破

大规模视觉编码器突破:减少数据依赖,降低扩展成本,提升模型性能

大规模视觉编码器显著降低了多模态大模型对训练数据的依赖。与其他采用300M或600M视觉编码器的多模态大模型相比,InternVL2.5-78B搭载了一个6B的视觉编码器,在仅使用1/10的训练数据量的情况下,实现了更优的性能。这一创新发现可大幅降低多模态大语言模型在参数扩大过程中的探索成本,有望为行业带来突破性进展。

数据质量提升:严格筛选与驱动模型性能突破

数据质量至关重要。随着书生·万象2.0到2.5的升级,研究团队不仅将数据集规模加倍,还通过严格筛选显著提升了数据质量。通过设计严格的数据过滤管道,如精心排除重复模式等异常样本,模型在思维链推理任务中,尤其是在MMMU和OlympiadBench等复杂挑战中,表现出显著的性能提升。

思维链与推理扩展:提升复杂问答任务中的准确性与性能

推理时间的扩展在解决复杂的多模态问答任务中展现了显著的优势。在诸如MMMU等挑战性任务中,搭载思维链的InternVL 2.5-78B模型达到了70.1%的准确率,比直接回答的结果高出3.7个点。研究团队成功验证了思维链与多数投票相结合的有效性,并由此进一步提升了模型的性能。

▌体验案例

案例1

以下是解答一道MMMU原题的例子,可以看到书生·万象2.5(InternVL2.5)能理解并运用统计学的一些基本概念,正确计算出类似难度的计算推理题。

案例2

接下来这道题需要模型能理解并计算复杂公式,能够正确跟随指令,根据要求回答出正确的答案,可以看到书生·万象2.5也能正确解答出来。

案例3

在阅读明代状元试卷的案例中,书生·万象2.5不仅能够识别繁体字、正确阅读古文,还能够正确加上标点符号并将古文翻译成现代文。从多轮对话中,还可以看到书生·万象2.5能够很好地根据用户的指令执行对应的行动。

案例4

最后是一个很常见的使用案例,要求将手写笔记的知识导图转成特定格式的文档。可以看到书生·万象2.5能够出色地完成这个任务,将整个知识框架按照格式整理好,并且将公式解析正确。

书生·万象InternVL 2.5:上海 AI Lab 开源的多模态大语言模型,超越了目前许多商业模型 书生·万象InternVL 2.5是由上海AI实验室OpenGVLab团队推出的开源多模态大语言模型系列。该模型在多模态理解基准(MMMU)上表现优异,超越了许多商业模型,适用于图像和视频分析、视觉问答、文档理解和多语言处理等多个领域。 阅读详情

相关推荐

InternVL 2.0:多模态大模型新标杆

最强开源,不输闭源!

OpenGVLab的博客 4646

SOTA多模态大模型!13个开源模型汇总,附论文和代码

本文提出了一种名为MoE-tuning的新的大型视觉语言模型(LVLM)训练策略,该策略构建了一个参数数量多但计算成本恒定的稀疏模型,解决了多模态学习和模型稀疏性相关的性能下降问题。为了解决这个问题,本文提出了LEGO,一个语言增强的多模态定位模型,LEGO不仅捕捉全局信息,还在需要细致理解输入数据内部细节的任务上表现出色,具有精确的识别和定位能力。今天给大家汇总了13个开源多模态大模型,这些模型在各自的领域中刷新了多个SOTA记录,每个模型都将附上相关的论文和代码,一起看看多模态大模型的最新研究成果吧!

weixin_72959097的博客 2313

InternVL2-1B成社区最喜爱的多模态大模型?低门槛微调教程来啦

在训练脚本 /root/code/XTuner/xtuner/configs/internvl/v2 /internvl_v2_internlm2_2b_qlora_finetune.py 里,这个参数默认值是 lr = 1e-6。/root/code/XTuner/xtuner/configs/internvl/v2 文件夹里,有一个 internvl_v2_internlm2_2b_qlora_finetune.py 文件,这个文件是用 qlora 方法去微调 InternVL2 系列模型的一个脚本。

2401_88022375的博客 2541

中国AI新势力——22个通用大模型全盘点!

近年来,随着人工智能技术的飞速发展,中国在大模型领域崭露头角,涌现出了一批具有国际竞争力的通用大模型。这些模型不仅在中文自然语言处理方面展现出色,也在多模态理解、图像处理、对话系统等多个领域表现优异。今天,我为大家盘点了22个代表中国AI实力的通用大模型,让我们一起来看看这些AI腾讯混元大模型(Hunyuan)是腾讯公司推出的一款先进的通用大模型平台,旨在为企业和开发者提供强大的自然语言处理(NLP)和人工智能(AI)能力。

2401_85375186的博客 4662

首发支持! 基于昇腾MindIE玩转InternVL3多模态理解最新模型

上海AI实验室开源了多模态大模型InternVL3.0,该模型在10亿-780亿参数规模下均取得开源模型性能第一,并在GUI智能体、图纸理解等专业场景表现出色。评测显示其性能接近闭源模型Gemini-2.5-Pro。模型已适配昇腾MindIE和MindSpeed平台,开发者可通过魔乐社区下载不同参数版本。文档详细说明了基于昇腾平台的部署流程,包括环境配置、容器创建及服务化推理方法,支持图像/视频理解等任务。该模型的开源为多模态AI应用提供了新选择。

2401_87243659的博客 2083

从图像到万象,InternVL 2.0 书生·万象多模态大模型发布!

目录收起代码开源/模型使用方法:76B大模型,司南评测优于GPT-4O8B端侧小模型,消费级单卡可部署试用Demo:正文开始!

具身机器人和通用AI 2923

SOTA多模态大模型!13个开源模型汇总!

近年来,多模态大模型(Multimodal Large Language Models, MLLMs)在人工智能领域取得了显著的进展,特别是在自然语言处理、计算机视觉和多模态理解方面。这些模型能够理解和生成多种类型的数据,如文本、图像、音频和视频,为多模态学习和应用提供了强大的工具。今天给大家汇总了13个开源多模态大模型,这些模型在各自的领域中刷新了多个SOTA记录,每个模型都将附上相关的论文和代码,一起看看多模态大模型的最新研究成果吧!NExT-GPT:任意对任意多模态 LLM。

2301_82275412的博客 5461

首发!谷歌倾斜摄影数据转换生成OSGB格式

全球首发,谷歌倾斜摄影模型文件能直接转换成OSGB格式!

cyber_room的博客 2287

最新开源:书生·万象多模态大模型InternVL 2.5开源!多模态大模型Maya,指令微调扩展至支持8种语言!

官网:_近日,上海AI实验室推出开源多模态大语言模型,支持从 1B 到 78B 的多种规模,适应不同的使用场景和硬件需求。基于 InternVL 2.0 构建,保留了相同的模型架构,即 ViT-MLP-LLM 架构,采用动态高分辨率训练和渐进式扩展策略,提升模型性能。书生·万象的主要功能:多模态理解:处理和理解来自不同模态(文本、图像、视频)的信息。多学科推理:在多个学科领域内进行复杂推理和问题解决。现实世界理解:对现实世界场景和事件进行理解和分析。多模态幻觉检测。

m0_70486148的博客 1520

lisp方格网法计算土方量_分享:两期土方工程量计算(方格网法)实例例题

最近遇到一个飞时达土方软件试用版客户,咨询怎么根据平整前的原始地形图和平整后的现状地形图来计算产生的土方工程量,也就是两期土方量,且需要用方格网法来计算,作为一个老道的工程设计人员,博主对这类的项目实例例题简直太熟悉了,用飞时达土方计算软件V13.0可以很方便的计算出来。 方格网法计算两期土方量流程 一、软件安装及注册 专业的飞时达土方计算软件FastTFT,请到飞时达软件官方网站去下载,注册完...

weixin_35131425的博客 1700

关于爱思唯尔官方Latex模版参考文献不是按照引用顺序编号,乱序问题

接下来使用工具打开cas-model2-names.bst文件,全词匹配搜索。其他期刊的模版也是一样的操作,把规定序号的规则的。爱思唯尔给的Latex模版大概文件结构如此。发现是按照第一作者的姓氏的大写字母排序。命令行给注释掉,小写的sort可别注释。

weixin_42748439的博客 5116

书生大模型科技成就重磅发布!上海人工智能实验室:迈向通用人工智能

其一,基于通、专模型协作合成高密度数据。陈恺提到,实验室研发团队设计了一系列“元动作”来引导模型解决问题的过程,如对问题的理解、知识回忆、规划、执行、反思、总结等,使得 InternThinker 能够以更加接近人类学习的方式高效提升能力,在面对复杂任务时,会动态地选择“元动作”,再进一步展开相关动作的具体思维过程。作为一个对标 GPT 系列的大语言模型,书生·浦语 2.5 谱系覆盖了从 1.8B、7B、20B 到 102B 的跨量级模型尺寸,可满足不同的应用需求,其中 1.8B 到 20B 都是开源的。

优快云资讯 3863

YOLOv11的嗅觉传感器数据关联-(特殊场景下的气味-视觉联合分析)

摘要 本文探讨了YOLOv11与嗅觉传感器融合的多模态感知技术。通过分析YOLOv11的架构特性与嗅觉传感器的数据特点,提出了三种融合策略:数据级、特征级和决策级融合。系统采用硬件同步方案实现时空对齐,包含视觉采集模块、嗅觉传感模块和边缘计算单元。环境配置基于Python 3.9和PyTorch 2.0,支持实时多模态数据处理。该技术可应用于环境监测、工业检测等场景,突破单一视觉感知的局限性。

本博客聚焦 YOLOv11 全流程落地,涵盖架构优化、数据集处理、训练技巧与多场景部署,兼及国产数据库、Java 开发与 AI 模型应用,内容兼顾理论与工程实践,为开发者提供系统干货,助力高效提升技术能力。 630

InternVL2 VS Qwen2-VL,多模态大模型评测实践

InternVL2是由上海人工智能实验室 OpenGVLab 发布的一款多模态大模型,其中文名称为“书生·万象该模型在多学科问答(MMMU)任务上表现出色,成为国内首个在该任务上性能突破60的模型,被誉为开源多模态大模型性能的新标杆。InternVL2官方性能评测结果,来源:https://github.com/OpenGVLab/InternVLQwen2-VL是阿里巴巴达摩院开源的视觉多模态 AI 模型,具备高级图像和视频理解能力。

m0_59235245的博客 6018

如何使用Github创建一个完全免费的个人网站

摘要: 本文详细介绍如何利用Github Pages免费搭建个人静态网站,适合零基础用户。首先需注册Github账号并创建特定命名的仓库(格式:用户名.github.io),然后通过网页或命令行创建index.html文件作为网站首页。完成后可通过"仓库设置- Pages"获取网站链接。文章还包含GitHub Desktop的安装使用、代码提交指南及常见问题自检方法,并说明即使Github被墙也可迁移至国内平台(如码云)。整个过程无需编程基础,仅需15分钟即可完成基础网站搭建。

安德洛夫 1514

【四足机器人项目实战】MIT四足机器人力控电机优劣分析及解决办法

系列文章目录 提示:这里可以添加系列文章的所有文章的目录,目录需要自己手动添加 TODO:写完再整理 文章目录系列文章目录前言一、mit力控电机方案二、弊端三、优点四、解决办法设计相关看专栏其他博客 前言 认知有限,望大家多多包涵,有什么问题也希望能够与大家多交流,共同成长! 本文先对XXX做个简单的介绍,具体内容后续再更,其他模块可以参考去我其他文章 提示:以下是本篇文章正文内容 一、mit力控电机方案 MITCheetahMini驱动器采用的电机是类似于公版电机T-MotorU8的型号

qq_35635374的博客 6093

玩转书生「多模态对话」与「AI搜索」产品

一般情况下主节点会根据子节点得出的结论,总结形成最终回复部分情况下,主节点会根据子节点得到的结论进一步拆解子问题回到步骤 (1) 直到得到最终结论。

qq_73754220的博客 1282

【RT-DETR有效改进】计算训练好权重文件对应的FPS、推理每张图片的平均时间(科研必备)

本文给大家带来的改进机制是利用我们训练好的权重文件计算FPS,同时打印每张图片所利用的平均时间,模型大小(以MB为单位),同时支持batch_size功能的选择,对于轻量化模型的读者来说,本文的内容对你一定有帮助,可以清晰帮你展示出模型速度性能的提升以及轻量化的效果(模型大小),对于以提高精度为目的的读者本文也能够帮助大家展示出现阶段的模型速度指标。所以本文的内容是十分有用的机制,对于大家发表论文来说,下面的图片为运行后的效果可以看到,该有的指标均已打印(本文内容为我独家创新,全网无第二份)下面是效果图和文

Snu77的博客 3634

突破闭源封锁!InternVL 2.5 革新开源多模态模型格局?

本月 5 号,上海 AI 实验室旗下的 OpenGVLab 团队发布了其最新的开源多模态大语言模型 InternVL2.5 系列。其中 InternVL2.5 78B 是首个在 MMMU benchmark 上得分超过 70 的开源模型,同时超越 Chatgpt-4o 与 Claude-3.5-Sonnet!书生·万象 InternVL 2.5[1] 最新的多模态大模型家族涵盖由 1B 到 78B 的不同模型,适配不同需求的使用场景和硬件需求。

m0_59235945的博客 3343

RK3399平台开发系列讲解(外设篇)交换芯片RTL8306M

网络:交换芯片RTL8306M 电路: make menuconfig 配置: 目录:arch/arm64/configs/rk3399_b201_defconfig CONFIG_FIXED_PHY=y 设备树: arch/arm64/boot/dts/rockchip/rk3399-b201-rev1.dts 时钟: Open之后首先校验网卡mac地址是否正确(stmmac_chec...

内核笔记 2395

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

从2天变2小时!书生大模型赋能教育行业,智能阅卷&学情分析一步到位丨与书生共创

同时,传统批阅方式仅停留在分数统计层面,缺乏对错因、知识薄弱环节的细致诊断,难以实现深度的学情分析。这既加重了教师的工作负担,也使得教研活动缺乏数据支撑,制约了教学优化与个性化发展的可能性。其核心是通过 AI 实现自动批阅,教师只需复核不足 5% 的异常情况,帮助教师高效、精准地完成试卷批阅工作,同时提供全面的学情分析和教学建议。依托书生·万象 InternVL 多模态大模型,深圳市牛娃教育科技的智能阅卷与教学分析一体化平台,让教师批阅更高效、学情分析更精准。实时显示阅卷进度,支持多人协作。

2402_82411485的博客 911

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

InternVL3.5 开源:革新多模态架构,重塑感知与推理的边界​

近日,上海人工智能实验室正式向全球开源其新一代多模态大模型——书生·万象 InternVL 3.5。本次开源的模型实现了从单纯感知理解到实体交互能力的重大跨越,标志着多模态人工智能进入了新的发展阶段。该模型通过创新的训练架构和算法突破,在通用多模态感知、复杂情境推理和文本理解等核心能力方面均展现出卓越性能。其旗舰模型在多学科综合推理评估中表现突出,位列全球开源模型领先地位。这些突破使 InternVL 3.5 不再是传统意义上的"观察者",而是能够真正理解环境、进行实体交互的智能体。

OpenCSG的博客 1250

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

“迷你版”书生·万象大模型开源,5%参数实现九成性能,“小而美”易迁移

多模态大模型迎来“迷你版”。近日,上海人工智能实验室(上海AI实验室)与清华大学等联合团队推出Mini-InternVL多模态大模型,包括1B、2B和4B三个参数版本,满足不同需求层级。评测结果显示,Mini-InternVL-4B仅以5%的参数量,即实现了InternVL2-76B约九成性能,显著减少计算成本。为适应多领域任务,联合团队提出了简单有效的迁移学习框架,使模型知识“一键”域迁移。同时,研究人员对模型架构、数据格式和训练计划进行了标准化处理,增强了模型在特定场景中的视觉理解和推理能力。自。

OpenGVLab的博客 1468

2. 基础关卡-玩转书生「多模态对话」和「AI搜索」产品

它会对你提出的问题进行分析并拆解为数个子问题,在数百个网页中搜索、总结各个子问题的答案,并给出完整的搜索关键词、思考路径、参考网页等中间过程,从而提供广泛、深度、高可信度的最终答案。此智能体为 MindSearch 的官方实现,具有与 Perplexity.ai Pro 相当的性能。请以 MindSearch 的回复作为参考 (推荐) 或者直接粘贴 MindSearch 的回复内容在知乎上回答 3 个问题的任意一个。**prompt:**目前生成式AI在学术和工业界有什么最新进展?

lldhsds的专栏 863
上一篇: 第八届文档分析与多模态大模型前沿理论与应用研讨会暨CSIG文档图像分析与识别专委会学术年会成功举办
下一篇: InternVL2.5技术报告共读精彩回顾,这样的圆桌多来亿点点!
OpenGVLab
博客等级 码龄2年 418粉丝 38原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值