InternVL2.5技术报告共读精彩回顾,这样的圆桌多来亿点点!

面向多样应用需求,书生·浦语2.5开源超轻量、高性能多种参数版本 在 2024 年 7 月 4 日的 WAIC 科学前沿主论坛上,上海人工智能实验室推出了书生·浦语系列模型的全新版本——InternLM2.5。相较于上一代,InternLM2.5 全面增强了在复杂场景下的推理能力,支持 1M 超长上下文,能自主进行互联网搜索并从上百个网页中完成信息整合。 阅读详情

「社区圆桌」是书生大模型开源社区精心打造的一项长期活动,旨在为社区成员提供一个开放、共享的交流学习平台。通过不定期举办线上与线下的圆桌会议,帮助社区成员深入了解书生大模型背后的技术细节,共同推动社区的成长与创新。

近期 InternVL2.5 发布,性能与 GPT-4o 和 Claude-3.5-Sonnet 等领先商业模型相媲美,成为首个在 MMMU 上超过 70% 的开源模型,在开源社区受到广泛好评。

为响应社区小伙伴更深入了解 InternVL2.5 技术细节的需求,2024 年 12 月 18 日晚 8 点,书生社区特别举办了 InternVL2.5 专题圆桌会议。本次活动由书生大模型开源社区的贡献者、ACL 2024 论文一作、东北大学数据挖掘组的王培东组织,圆桌会议分为「共读技术报告」、「圆桌讨论」和「社区共建任务发布」三个环节,共吸引了 100 位社区成员报名,其中近 50 位同学全程参与 2 个小时的圆桌,反响热烈。

在「共读技术报告」环节,书生大模型开源贡献者王培东与社区成员分享了他近期研读 InternVL2.5 技术报告的收获,介绍了 InternVL2.5 系列模型的领先性能,分享了如下论文的核心发现:

  • 「大型视觉编码器和高效的训练策略显著减少了训练数据的依赖」与配备 600M 视觉编码器的 Qwen2-VL-72B 相比,InternVL2.5-78B 配备了 6B 视觉编码器,并且InternVL2.5使用了渐进扩展策略(Progressive Scaling Strategy,见3.3节)。这两种改进使得 InternVL2.5-78B 在使用仅 1/10 训练Token的情况下,仍能取得更好的性能,这大大降低了扩展多模态大语言模型的探索成本。渐进扩展策略在资源受限的环境中尤为有利,通过最大化预训练组件的重用,最小化冗余计算,并实现能够处理复杂视觉语言任务的高效模型训练。

  • 「数据质量至关重要」在将 InternVL 从 2.0 升级到 2.5 的过程中,尽管数据集规模翻倍,但通过严格的筛选,数据质量得到了显著提升。研究团队采用了数据打包、数据质量评估、重复模式过滤等数据组织技术,不仅提高了 GPU 利用率,还显著增强了测试时扩展策略的有效性,从而大幅提升了模型的性能和用户体验。值得一提的是,与大多数现有的开源多模态大语言模型在 MMMU 和 OlympiadBench 等链式推理(CoT)任务中表现不佳不同,我们的模型在这些任务中展现了卓越的性能,进一步证明了数据组织技术的有效性。

  • 「测试时扩展对复杂的多模态问答任务有益」 测试时扩展即 test-time scaling (又称 inference-time scaling)指另一条增强大模型性能的技术路线,随着o1的推出而爆火。扩展测试/推理时的计算资源,这样就可以在不用训练的情况下,扩展模型性能。在 MMMU 等挑战性任务中,配备 CoT 的 InternVL2.5-78B 达到了70.1%,比直接回答选项高出3.7个百分点。随后,研究团队成功验证了 CoT 可以进一步与多数投票结合,带来额外的改进。

在此环节的尾声,贡献者王培东高度赞赏了 InternVL2.5 开源力度所展现的诚意。点击链接:原文链接icon-default.png?t=O83Ahttps://aicarrier.feishu.cn/wiki/VFYcwkO4RitoCHkd2ZiciCgNnze可查看王培东翻译整理的 InternVL2.5 技术报告解读,供大家进一步参考。

(十二)关于InternVL2.5的模型训练方法——InternVL2.5与InternVL2.0的训练区别以及步骤作用 以InternVL2作为基础,介绍多模态大模型的训练、推理以及其它相关知识 阅读详情

相关推荐

InternVL 3的技术深度分析,代码与原理

我将对InternVL 3进行更深入的技术分析,结合代码和公式来详细阐述其核心技术、训练方法和推理部署。

q742971636的博客 762

突破闭源封锁!InternVL 2.5 革新开源多模态模型格局?

本月 5 号,上海 AI 实验室旗下的 OpenGVLab 团队发布了其最新的开源多模态大语言模型 InternVL2.5 系列。其中 InternVL2.5 78B 是首个在 MMMU benchmark 上得分超过 70 的开源模型,同时超越 Chatgpt-4o 与 Claude-3.5-Sonnet!书生·万象 InternVL 2.5[1] 最新的多模态大模型家族涵盖由 1B 到 78B 的不同模型,适配不同需求的使用场景和硬件需求。

m0_59235945的博客 3343

(十三)关于InternVL2.5的模型训练效果——自定义数据集的训练效果InternVL2.5与InternVL2.0对比

以InternVL2作为基础,介绍多模态大模型的训练、推理以及其它相关知识

昆兰.沃斯 的博客 881

多模态大模型InternVL 2.5重磅发布

我们很高兴推出InternVL 2.5,这是一个基于 InternVL 2.0 构建的先进多模式大型语言模型 (MLLM) 系列,它保留了其核心模型架构,同时在训练和测试策略以及数据质量方面进行了显著的改进。图片/png InternVL 2.5 系列 在下表中,我们提供了 InternVL 2.5 系列的概述。模型架构 如下图所示,InternVL 2.5 保留了与前代产品 InternVL 1.5 和 2.0 相同的模型架构,遵循“ViT-MLP-LLM”范式。在这个新版本中,我们使用随机初始化的 ML

putaolove的博客 2883

XGBoost的简单安装及入门使用

XGBoost安装及简单入门 XGBoost支持多种操作系统,如Windows, Linux, MacOS等,并支持多种语言版本,如Python, R, Scale, Java等。XGBoost的安装方式一般有两种,一种是直接通过pip安装(适合用于Python),另外一种是通过源码编译安装 1、通过pip安装 通过pip安装Python包既简单又方便,只需执行如下的命令: pip install -i https://pypi.tuna.tsinghua.edu.cn/simple xgboost 使用

qq_41513230的博客 3万+

AHB不对称半桥反激电路设计(三)主要器件参数规格计算

本文介绍了AHB拓扑变压器的设计步骤与核心参数计算,包括主控芯片选择、工作原理分析及参数计算。作者选择DK87XXD集成MOS方案,详细阐述了输入电压范围、反射电压限定、匝比计算、工作频率设定、原副边电流值、电感量计算、磁芯选择、匝数计算、谐振电容设计等关键步骤。通过公式推导与实例计算,展示了150W电源的变压器设计过程,最终确定匝比5.5、原边22匝、副边4匝、电感量200uH等参数。文章还讨论了谐振电容与漏感的关系,为后续调试提供理论基础。该设计方法结合理论分析与工程实践,适用于AHB拓扑电源开发。

【Simon】的博客 3346

【理论与实操兼备】深入揭秘InternVL-2.5训练细节:从原理到应用全面解析!

最近书生(internVL)2.5发布了一系列模型,包含78B、38B、8B等多种不同size的多模态模型,恰逢工作单位在清华大学开设了一个workshop,有幸听到通讯作者代季峰教授做了一个关于多模态导向与设计训练的分享,收益匪浅。由于之前做过关于internVL-2的微调,在OCR相关能力上表现非常不错。于是便萌生了写一篇对InternVL-2.5详细剖许的文章(如果后续有时间也会补一篇代码层面的剖析)。论文:https://arxiv.org/abs/2412.05271。

m0_65555479的博客 2479

【机器学习—评估指标】混淆矩阵、准确率、精确率、召回率、F1分数、ROC曲线和AUC

机器学习评价指标是衡量模型性能的关键工具。本文介绍了常见指标及其计算方法:1.混淆矩阵展示分类预测结果分布,包含TP、TN、FP、FN四个基础指标;2.准确率反映整体预测正确率;3.精确率关注预测正例的准确性;4.召回率衡量正例检出能力;5.F1分数综合平衡精确率和召回率;6.ROC曲线通过TPR与FPR的权衡关系评估模型性能,AUC值量化区分能力。文章详细说明了各指标的定义、计算公式、适用场景及局限性,并通过Python代码示例演示了具体实现方法,特别对ROC曲线和AUC的计算原理进行了深入解析。

weixin_51375278的博客 6746

上海 AI Lab放大招!InternVL3开源:1B到78B全尺寸覆盖,工具使用/GUI代理/工业分析一网打尽

InternVL3 的开源发布,无疑为多模态大模型领域注入了强大的新活力。其全尺寸的模型覆盖、领先的性能指标,特别是工具使用、GUI 代理、工业分析等实用高级能力的突破,以及完全开放的姿态,使其成为当下开发者和研究者不容错过的重量级选手。

nulifancuoAI的博客 1845

Android设置鼠标显示的屏幕

【代码】Android设置鼠标显示的屏幕。

薛文旺 676

特斯拉 Model 3解析(九)特斯拉 Model 3 自动驾驶域控制器硬件架构

硬件层:车规级高密度主板 → PI/SI优化到极致传感器层:三目摄像头主导视觉,雷达补充冗余,超声波保证近距设计理念:依靠芯片算力最大化视觉潜力,而不是堆传感器这套思路的优点是:成本可控、量产快、迭代快。缺点是:极端场景下感知鲁棒性不足。纯视觉方案短期可行,但中长期必然要重新引入高分辨率雷达甚至固态LiDAR作为冗余。电源/信号完整性会越来越关键,未来域控板设计会越来越像数据中心服务器。

weixin_43199439的博客 1789

InternVL3技术报告

摘要:上海AI Lab联合商汤科技及国内多所顶尖高校发布了开源VLM——InternVL3。其核心创新是采用“原生多模态预训练”范式,在预训练阶段同时学习文本与多模态数据,有效整合信息,解决传统方法对齐难题。结合可变视觉位置编码、监督微调、混合偏好优化等技术,优化训练架构。实验表明,InternVL3-78B在MMMU基准测试上达72.2分,成为开源模型新标杆,媲美顶尖闭源模型,同时保持强大纯文本处理能力。

AI前沿技术的分享! 3379

手把手教你用srec_cat生成带CRC校验的STM32固件(解决OTA常见校验失败问题)

本文针对STM32 OTA升级中常见的固件校验失败问题,提供了一套使用srec_cat工具自动生成带CRC32校验固件的实战解决方案。文章详细拆解了命令参数,指导开发者如何为固件嵌入CRC值、处理地址偏移及合并文件,从而确保Bootloader能可靠校验固件完整性,提升远程更新的稳定性。

kappa的博客 786

InternVL 微调实践闯关任务(学习笔记)

让我们一起修改XTuner下 InternVL的config,文件在: /root/InternLM/code/XTuner/xtuner/configs/internvl/v2/internvl_v2_internlm2_2b_qlora_finetune.py。如果这里你执行的epoch不是6,是小一些的数字。之后我们使用lmdeploy自带的pipeline工具进行开箱即用的推理流程,首先我们新建一个文件/root/InternLM/code/test_lmdeploy.py。

weixin_49463617的博客 938

作物生长模型Oryza V3实战2:下载、安装与使用

摘要:ORYZA 现在的应用范围已从单一水稻作物模拟扩展到多个水稻作物模拟。我在csdn站内也上传了“作物生长模型oryza v3大全(含所有参数模板和4个校准程序1个分析工具)”,可以说是全网最全的吧。网上搜索一般下载的v3只有一个a3主程序,不适合作全面与深入的研究,本版本从国外下载回来,一开始少了一个“SoilHydrau.exe”文件,说是有病毒被隔离了,后经历各种技术手段,并向国际水道研究所发送邮件,才得以补全所有的参数化及校准程序、分析工具,来之不易,有缘人得之。

506

15 媒体存储的封装3

CMediaDisk类真正实现了录像文件的存储、查询和点播。存储录像文件时,需要满足以下的几个基本需求:1、异常断电不能丢失数据。2、录像既支持普通文件的查询方式,也支持时间轴的查询方式。3、修改设备时间时,不能够丢失已有录像和数据。向后修改时间时,如果当前时间已有录像,则不覆盖老数据;直到有未录像的时间段时,才再次写入新数据。4、支持删除媒体文件,也支持按时间段删除。5、支持标记录像文件、抓拍文件,也支持按时间段标记。6、支持自动覆盖最老的文件。7、支持多个设备、多路视频的录像存储。

hope_wisdom的技术博客 1124

全量级开源多模态大模型书生·万象InternVL2.5全面升级

与其他采用300M或600M视觉编码器的多模态大模型相比,InternVL2.5-78B搭载了一个6B的视觉编码器,在仅使用1/10的训练数据量的情况下,实现了更优的性能。图1: 在OpenCompass榜单上,书生·万象2.5(InternVL2.5)在10亿~780亿量级多模态大模型中展示出强大的多模态能力,可与闭源模型相媲美,MMMU性能突破70%基于此现状,书生·万象2.5在训练、测试策略和数据质量等方面不断取得新突破,从而提供更强大的多模态基座模型,进而为相关学术研究和产业应用创新做出贡献。

OpenGVLab的博客 1313

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

InternVL

为了将视觉模型与语言模型(LLMs)进行联系,现有的视觉语言联合模型(VLLMs)常常采用轻量级的“粘合”层,例如QFormer或线性投影,来对齐视觉和语言模型的特征。在本研究中,我们设计了一个大规模的视觉-语言基础模型(InternVL),将视觉基础模型的参数扩展到60亿,并逐步与LLM对齐,利用来自不同来源的网络规模的图像-文本数据。本文设计了一个大规模的视觉-语言基础模型(InternVL),将视觉基础模型的参数扩展到60亿,并逐步与LLM对齐,利用来自不同来源的网络规模的图像-文本数据。whao

whaosoft143ai的博客 1772

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

理论与实操兼备:深入揭秘InternVL-2.5训练细节

作者|404dreamer编辑| 自动驾驶之心原文链接:https://zhuanlan.zhihu.com/p/14527170215点击下方卡片,关注“自动驾驶之心”公众号戳我-> 领取自动驾驶近15个方向学习路线>>点击进入→自动驾驶之心『大语言模型』技术交流群本文只做学术分享,如有侵权,联系删文1 前言最近书生(internVL)2.5发布了一系列模型,包含78B...

CV_Autobot的博客 1006

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

别再盯着DeepSeek了,阿里的Qwen2.5 VL可能更适合打工人

这个AI像“超人”一样,能看、能读、能操作!无论是模糊的表格、手写笔记、1小时的视频,还是手机屏幕,它都能快速理解,甚至帮你操作设备。比如:看视频:自动给1小时的网课视频分章节、写重点(类似AI剪辑师)。读文档:把乱糟糟的手写合同转成整齐的电子版,还能标出关键条款。操作手机:动动嘴说“把微信聊天记录导出成Excel”,它就能自动操作。

2401_85375151的博客 2229

书生·万象2.5再升级,数学推理、OCR能力大幅提升

继12月初推出全量级开源多模态大模型书生・万象2.5(InternVL2.5)后,上海人工智能实验室(上海AI实验室)进一步开源了该模型的后训练算法及训练数据,使各量级的模型性能均得到提升。其中,模型的数学推理能力和OCR能力提升最为明显,分别在MathVista和OCRBench达到了76.5%和907分。相比有监督微调,基于偏好对齐的后训练算法通过额外引入针对负样本的监督信号,可进一步提升模型的训练效果。然而,多模态领域关于偏好对齐的训练数据和实践经验仍然非常稀缺。

OpenGVLab的博客 1469

本地部署大模型?看这篇就够了,Ollama 部署和实战

如果要使用的模型不在 Ollama 模型库怎么办?至此,我们一起走完了 Ollama 的部署和实战流程。在我看来,Ollama 也许是目前最便捷的大模型部署和使用工具,对小白非常友好。简单的命令行操作,用户即可快速启动和管理模型,极大降低了技术门槛,用户可以专注于模型的应用,而无需关注底层技术细节。此外,Ollama 的离线运行也为数据安全提供了保障。期待大家在使用 Ollama 的过程中,发现更多有趣的 AI 应用场景。让我们一起推动大模型技术的应用落地,探索更广阔的可能性!

2401_85373898的博客 2722

InternVL2.5相比与InternVL2性能提升的关键工作分析

InternVL2.5是第一个在 MMMU 基准上达到 70% 以上的开源 MLLM, 其以InternVL2的研究工作为基础,在模型结构上没有过多调整,但在数据处理逻辑、模型训练策略、训练数据增广方式进行优化,从而实现了有效的整体涨点。

a486259的博客 2588

【多模态】internvl-2.5模型技术学习

internvl2.5学习记录

威化饼的一隅 2273

InternVL总结思考

InternVL(书生大模型)作为一个面向多模态任务的开源大模型项目,提供了从数据处理到模型训练、推理加速和应用部署的全链路解决方案。它不仅为研究者提供了一个强大的工具平台,也为开发者提供了丰富的 API 接口和开源资源。随着视觉-语言融合技术的进一步发展,书生大模型有望在更多实际应用场景中发挥重要作用,并引领多模态人工智能技术的前沿发展。

love_wzy的博客 417

InternLM2.5系列模型正式上线 OpenCSG

InternLM2.5 系列模型现已在 OpenCSG 社区以专区形式正式上线,大家可以灵活选择算力,快速启动推理服务,或利用平台提供的丰富数据集进行模型微调。 InternLM 开源链接:(欢迎 star) https://github.com/InternLM/InternLM 专区链接: https://opencsg.com/collections/43/ OpenCSG 社区还特别提供了 InternLM2.5-20B-Chat 的在线推理体验,用户可以通过一键操作直接体验该模型的对话功能~ 在线

2402_82411485的博客 528
上一篇: 全量级开源多模态大模型书生·万象InternVL2.5全面升级
下一篇: 书生·万象2.5再升级,数学推理、OCR能力大幅提升
OpenGVLab
博客等级 码龄2年 418粉丝 38原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值