书生·万象2.5再升级,数学推理、OCR能力大幅提升

书生·万象InternVL 2.5:上海 AI Lab 开源的多模态大语言模型,超越了目前许多商业模型 书生·万象InternVL 2.5是由上海AI实验室OpenGVLab团队推出的开源多模态大语言模型系列。该模型在多模态理解基准(MMMU)上表现优异,超越了许多商业模型,适用于图像和视频分析、视觉问答、文档理解和多语言处理等多个领域。 阅读详情

继12月初推出全量级开源多模态大模型书生・万象2.5(InternVL2.5)后,上海人工智能实验室(上海AI实验室)进一步开源了该模型的后训练算法及训练数据,使各量级的模型性能均得到提升。其中,模型的数学推理能力和OCR能力提升最为明显,分别在MathVista和OCRBench达到了76.5%和907分。

相比有监督微调,基于偏好对齐的后训练算法通过额外引入针对负样本的监督信号,可进一步提升模型的训练效果。然而,多模态领域关于偏好对齐的训练数据和实践经验仍然非常稀缺。为此,研究人员构建并开源了首个大规模多模态偏好对齐数据集MMPR,并基于该数据集提出了面向多个优化目标的混合偏好优化算法,使模型可在生成人类偏好响应的同时,区分每条响应的绝对质量以及两条响应之间的相对质量,从而使模型的训练效果得到大幅提升。

在OpenCompass榜单上,经过后训练增强的书生・万象2.5(InternVL2.5-MPO)在10亿~780亿量级多模态大模型中都展示出明显的性能提升,其中MathVista性能达到76.5%,OCRBench达到907分

技术报告链接:

https://huggingface.co/papers/2411.10442

代码开源/模型使用方法:

https://github.com/OpenGVLab/InternVL

模型地址:

https://huggingface.co/OpenGVLab/InternVL2_5-78B-MPO

数据地址:

https://huggingface.co/datasets/OpenGVLab/MMPR-v1.1

基于偏好对齐的后训练算法在自然语言处理领域已经获得了广泛的关注,并且基于偏好对齐微调得到的语言模型也表现出更好的有用性和无害性。然而,在多模态领域,现有的主流开源模型依旧依赖于预训练和有监督微调的训练范式。受限于多模态偏好对齐数据和实践经验的缺失,开源社区仍然缺少对偏好对齐的探索与研究。针对这一问题,研究人员在数据层面构建了首个大规模多模态偏好对齐数据集MMPR。研究人员基于该数据集进行了一系列的实验探究,并提出了面向多个优化目标的混合偏好优化算法,要求模型能够在生成人类偏好响应的同时,可以区分每条响应的绝对质量以及两条响应之间的相对质量。

MMPR:首个大规模多模态偏好对齐数据集

为了在可控的成本下构建大规模的高质量多模态偏好数据,研究人员提出了一条高效的数据构建管线。具体而言,研究人员将数据按照是否有明确的标准答案划分为两类:

  • 针对有明确标准答案的数据:对于每个问题,通过现有模型采样多个推理路径,将其中最终答案正确的响应作为正样本,最终答案错误或者无法解析出答案的响应作为负样本。在构建偏好数据时,从正样本中选择一条推理路径作为偏好响应,从负样本中选择一条作为拒绝响应。

  • 针对没有明确标准答案的数据:研究人员提出了一种简单高效的数据构建管线——DropoutNTK。该管线首先将模型针对图像直接生成的响应作为偏好响应。给定偏好响应,该管线进一步要求模型在不输入图像的情况下,基于偏好响应的前半部份续写后半部份内容,并将由此得到的响应作为拒绝响应。值得注意的是,尽管模型生成的响应并不一定是完美的,但是在不输入图像的前提下续写得到的响应一定会产生更多幻觉,因此这两条响应之间的偏好关系是成立的。

有明确标准答案的数据示例
没有明确标准答案的数据示例

MPO:面向多个优化目标的混合偏好优化算法

为了进一步提升偏好优化算法的有效性,研究人员进一步提出了混合偏好优化算法(Mixed Preference Optimization,MPO),其核心思想在于让模型学习生成人类偏好响应的同时也能够学会识别响应间的相对质量和每个响应的绝对质量。因此,其训练目标可以表示为相对质量损失\mathcal{L}_{\text{p}}、绝对质量损失\mathcal{L}_{\text{q}}以及生成损失\mathcal{L}_{\text{g}}的组合:

\mathcal{L}=w_{p}\cdot\mathcal{L}_{\text{p}} + w_{q}\cdot\mathcal{L}_{\text{q}} + w_{g}\cdot\mathcal{L}_{\text{g}},

其中,w_*表示每种损失的权重。

具体而言,该算法选择直接偏好优化损失作为相对质量损失来帮助模型理解不同响应之间的相对质量,其优化目标可以表示为:

\mathcal{L}_{\text{p}}=-\log \sigma\left(\beta \log \frac{\pi_\theta\left(y_c \mid x\right)}{\pi_0\left(y_c \mid x\right)}-\beta \log \frac{\pi_\theta\left(y_r \mid x\right)}{\pi_0\left(y_r \mid x\right)}\right),

其中,\beta表示KL散度约束系数,而x,y_c,以及 y_r 分别表示用户输入、偏好响应以及拒绝响应。策略模型 \pi_\theta 基于\pi_0 初始化得到。

此外,该算法通过二项分类优化损失来帮助模型学习每个响应的绝对质量,其优化目标可以表示为:

\mathcal{L}_{\text{q}}=\mathcal{L}_{\text{q}}^+ + \mathcal{L}_{\text{q}}^-,

其中,\mathcal{L}_{\text{q}}^{+} 和 \mathcal{L}_{\text{q}}^{-}分别表示针对偏好和拒绝样本的优化目标,这两个优化目标相互独立。他们的计算方式为:

\mathcal{L}_{\text{q}}^+=-\log \sigma\left(\beta \log \frac{\pi_\theta\left(y_c \mid x\right)}{\pi_0\left(y_c \mid x\right)} - \delta\right),

\mathcal{L}_{\text{q}}^-=-\log \sigma\left(-\left(\beta \log \frac{\pi_\theta\left(y_r \mid x\right)}{\pi_0\left(y_r \mid x\right)} - \delta\right) \right),

最后,该算法通过有监督微调损失来帮助模型学会生成偏好响应,防止其生成能力退化,该损失可以表示为:

\mathcal{L}_{\text{gen}}=-\frac{\log\pi_\theta\left(y_c \mid x\right)}{\left| y_c \right|}.

实验结果

在司南评测体系(OpenCompass)中,经过MPO后训练后的书生·万象2.5(InternVL2.5-MPO)在综合性能上取得了明显提升。其中,规模最大的模型在数学推理评测集MathVista上取得了5.9%的性能提升,在文字识别评测集OCRBench上取得了54分的性能提升。

除此之外,在其他主流评测集中,InternVL2.5-MPO也都达到了国际领先水平。

基于CANoe的Basic Diagnostics ECU (UDS) 阅读详情

相关推荐

Prompt Airlines CTF通关实战:从提示词注入到多模态攻击的AI安全攻防演练

提示词注入(Prompt Injection)是当前大语言模型(LLM)应用面临的核心安全威胁之一,其原理在于攻击者通过精心构造的用户输入,覆盖或绕过系统预设的指令,从而操控模型行为。这种攻击手法的技术价值在于揭示了AI系统在理解与执行指令时存在的逻辑边界模糊性,可能导致数据泄露、越权访问等严重风险。在应用场景上,从基础的客服对话到结合视觉识别的多模态系统,都可能成为攻击面。本文以一场名为“Prompt Airlines CTF”的实战挑战为例,深入剖析了包括指令遗忘、上下文注入、工具调用滥用及多模态提示注

aodan5477的博客 525

突破闭源封锁!InternVL 2.5 革新开源多模态模型格局?

本月 5 号,上海 AI 实验室旗下的 OpenGVLab 团队发布了其最新的开源多模态大语言模型 InternVL2.5 系列。其中 InternVL2.5 78B 是首个在 MMMU benchmark 上得分超过 70 的开源模型,同时超越 Chatgpt-4o 与 Claude-3.5-Sonnet!书生·万象 InternVL 2.5[1] 最新的多模态大模型家族涵盖由 1B 到 78B 的不同模型,适配不同需求的使用场景和硬件需求。

m0_59235945的博客 3343

晶圆测试(Wafer Sort)的核心技术与良率提升策略

晶圆测试(Wafer Sort)是芯片制造中的关键“入学考试”,通过探针台与自动测试设备(ATE)对晶圆上的芯片进行功能与参数测试,筛选不合格芯片以控制成本。本文深入解析了其核心技术,包括自动化视觉系统对准、测试流程优化策略,并探讨如何利用测试数据驱动良率提升,展望了DFT与AI智能测试的未来趋势。

e4f5g6h的博客 523

多模态大模型InternVL 2.5重磅发布

我们很高兴推出InternVL 2.5,这是一个基于 InternVL 2.0 构建的先进多模式大型语言模型 (MLLM) 系列,它保留了其核心模型架构,同时在训练和测试策略以及数据质量方面进行了显著的改进。图片/png InternVL 2.5 系列 在下表中,我们提供了 InternVL 2.5 系列的概述。模型架构 如下图所示,InternVL 2.5 保留了与前代产品 InternVL 1.5 和 2.0 相同的模型架构,遵循“ViT-MLP-LLM”范式。在这个新版本中,我们使用随机初始化的 ML

putaolove的博客 2883

《Linux运维总结:etcd 3.5.15集群数据备份与恢复》

《Linux运维总结:etcd 3.5.15集群数据备份与恢复》

东城绝神 1080

SAP 小结

关于SAP 开发的实习就要告一段落了,从刚开始接触,到现在已经6个月了,想要很简要的把自己对SAP的理解写出来,便于以后查阅(不定期更新)。 1. 什么是SAP? 广义的SAP,可以指代SAP公司以及SAP的各种产品,它的意义要在特定语境下才能确定。一般我们所说的SAP特指SAP ERP。 SAP ERP(enterprise resource planning)是一个企业信息系统。通过这个系

Remy的博客 1958

【多模态】internvl-2.5模型技术学习

internvl2.5学习记录

威化饼的一隅 2274

ArcGIS+PLUS+InVEST三件套实战:从零搞定土地利用变化与碳储量预测(附完整数据包)

本文详细介绍了如何整合ArcGIS、PLUS模型和InVEST模型,构建土地利用变化与碳储量预测的完整研究流水线。通过多情景模拟和生态系统服务评估,提供从数据准备到结果验证的实战指南,助力研究者高效完成生态评估项目。

weixin_30399821的博客 545

中国AI新势力——22个通用大模型全盘点!

近年来,随着人工智能技术的飞速发展,中国在大模型领域崭露头角,涌现出了一批具有国际竞争力的通用大模型。这些模型不仅在中文自然语言处理方面展现出色,也在多模态理解、图像处理、对话系统等多个领域表现优异。今天,我为大家盘点了22个代表中国AI实力的通用大模型,让我们一起来看看这些AI腾讯混元大模型(Hunyuan)是腾讯公司推出的一款先进的通用大模型平台,旨在为企业和开发者提供强大的自然语言处理(NLP)和人工智能(AI)能力。

2401_85375186的博客 4662

微信小程序 - 详细实现可移动悬浮按钮,全屏悬浮元素图标可拖动拖拽并自动吸附边缘,微信小程序实现悬浮球吸附边缘+计算靠边靠拢效果(详细代码,拖拽中途放手,靠左就自动跑到屏幕左侧,反之靠右跑到屏幕右侧)

微信小程序,vue2,vue3,微信小程序悬浮功能小按钮,自动吸附边缘效果,微信小程序之可拖动悬浮按钮的实现,如何实现靠近边缘自动吸住功能,小程序右下角的悬浮效果,实现可拖动悬浮图标,自动向两边靠拢,悬浮按钮的实现,微信小程序悬浮球效果,微信小程序(可拖动悬浮按钮)当靠近屏幕边缘时会磁吸靠近,如何实现全局悬浮按钮,悬浮球判断吸附在左右,全屏悬浮能拖着走,小程序怎么做悬浮图标靠近左右两侧能吸附住,悬浮菜单按钮,悬浮球可拖拽,全局悬浮球,全局悬浮框,实现悬浮按钮可拖动,自动吸附边缘效果,若按钮此时位于页面中间偏

🏆 前端领域优质创作者 1万+

《QGIS快速入门与应用基础》108:CGCS2000对应的投影坐标系

本文详细解析了CGCS2000地理坐标系对应的各类投影坐标系,包括高斯-克吕格3°带/6°带、UTM、地方独立投影和Web墨卡托投影。文章系统阐述了各投影类型的分带规则、参数设置、精度特性及适用场景,并提供了EPSG编码对照表和QGIS操作指南。通过"基准+投影"的绑定机制,这些投影坐标系实现了平面坐标与经纬度的精准转换,满足从大比例尺工程测量到Web地图服务等不同应用需求。内容涵盖投影原理、坐标格式、变形控制等关键技术要点,为GIS开发者和测绘人员提供了实用的参考信息。

LuckyHanMo的博客 546

开源多模态大模型新标杆 InternVL3-78B-AWQ:一文读懂项目全貌与核心亮点

**InternVL3-78B-AWQ** 是上海人工智能实验室(OpenGVLab)推出的**开源多模态大模型** InternVL3-78B 的 4-bit AWQ 量化版本,属于「书生·万象」系列。它采用 ViT-MLP-LLM 架构,将 6B 参数的视觉编码器与 72B 语言模型深度融合,支持图像理解、视频分析、多图对比、GUI 操作与 3D 感知等能力。本文将从架构、量化、训练、部署四个

gitblog_01125的博客 609

嵌入式开发之瑞芯微RK356x--基本环境搭建

嵌入式环境搭建

NexyHO的博客 618

使用书生万象InternVL大模型进行自定义视频数据集微调时没有petrel_client导致NoneType异常

7月4日下午,世界人工智能大会科学前沿论坛, 代季峰老师代表InternVL研究团队发布了2.0版本,中文正式名称为"书生·万象”。它是目前已知性能开源大模型(见数值对比表),也是国内。数学基准MathVista的测试中、书生·万象的得分为66.3%,。在通用图表基准ChartQA、文档类基准DocVQA、信息图表类基准InfographicVQA中以及通用视觉问答基准MMBench (v1.1)中,书生万象也取得了。

weixin_43966857的博客 2838

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

玩转书生「多模态对话」与「AI搜索」产品

一般情况下主节点会根据子节点得出的结论,总结形成最终回复部分情况下,主节点会根据子节点得到的结论进一步拆解子问题回到步骤 (1) 直到得到最终结论。

qq_73754220的博客 1282

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

书生大模型实战营第四期L1G2000(玩转书生「多模态对话」与「AI搜索」产品)

本次体验了书生产品矩阵种的三种产品,分别是书生浦语大模型、MindSearch和书生万象。

stinkypudding的博客 350

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

InternVL2.5:Expanding Performance Boundaries of Open-SourceMultimodal Models 论文理解

1、继承InternVL 2.0核心模型架构的基础上,系统地探索了视觉编码器、语言模型、数据集大小以及测试时配置的性能趋势,应该还有一个(预)训练策略 2、第一个在MMMU基准测试中超过70%的开源MLLM,通过链式思维(CoT)推理实现了涨点3.7% 3、探索了一种data filter的数据方式,确保数据的高质量(MLLM去重,filter+人工)

lovep1的博客 1945

InternVL 2.5 介绍

在InternVL 2.5中,我们系统地探索了MLLM中的各种因素,包括视觉编码器、语言模型、数据集大小和推理时间的变化如何影响模型的整体性能,展示了多模态模型中扩展与性能之间的关系。大视觉编码器减少数据依赖:在扩展MLLM时,大型视觉编码器显著降低了对训练数据的依赖。如表3所示,与配备6亿参数视觉编码器的Qwen2-VL - 72B相比,我们拥有60亿参数视觉编码器的InternVL2.5 - 78B仅使用1/10的训练标记就能实现更好的性能。这在扩展MLLM时大大降低了探索成本。数据质量至关重要。

qq_44761480的博客 2811

多模态大模型Internvl-2-26B的OCR赋能方案(附代码)

模型部署: functions.py: config.py: 数据预处理: 预处理结果: 处理前数据格式众多: 处理后pdf转化为jpg图像,并存储与新的文件夹中。OCR识别: 识别后将每一图片信息提取为指定格式的json 示例(为保证隐私,信息已经改写): 合并json信息,其中考虑每个人最高学历进行处理: 总结 开发测试数据132项。 对于文件命名、文件内容、抽取规范都做了异常error记录,在人工校验中重点关注;本次测试error项3个。 无error的文件因为本地模型性能问题现在生成内容也存在一

2189

InternVL2.5相比与InternVL2性能提升的关键工作分析

InternVL2.5是第一个在 MMMU 基准上达到 70% 以上的开源 MLLM, 其以InternVL2的研究工作为基础,在模型结构上没有过多调整,但在数据处理逻辑、模型训练策略、训练数据增广方式进行优化,从而实现了有效的整体涨点。

a486259的博客 2588

【理论与实操兼备】深入揭秘InternVL-2.5训练细节:从原理到应用全面解析!

最近书生(internVL)2.5发布了一系列模型,包含78B、38B、8B等多种不同size的多模态模型,恰逢工作单位在清华大学开设了一个workshop,有幸听到通讯作者代季峰教授做了一个关于多模态导向与设计训练的分享,收益匪浅。由于之前做过关于internVL-2的微调,在OCR相关能力上表现非常不错。于是便萌生了写一篇对InternVL-2.5详细剖许的文章(如果后续有时间也会补一篇代码层面的剖析)。论文:https://arxiv.org/abs/2412.05271。

m0_65555479的博客 2479

InternLM2.5 部署到安卓手机上

安装包,下载到手机上运行 运行App需要能访问huggingface下载模型(参考文档中的bundle方法需要ADB刷入模型数据)如果是本地可以WIFI或USB调试不用签名,在服务器构建需要签名 修改。这一步需要能访问huggingface,可能需要部署代理。为如下内容,主要是增加了签名部分,注意确认签名文件的位置。测试如下输出说明安装正确。运行编译命令,完成后在。

find_element_by_id的博客 857

本地部署大模型?看这篇就够了,Ollama 部署和实战

如果要使用的模型不在 Ollama 模型库怎么办?至此,我们一起走完了 Ollama 的部署和实战流程。在我看来,Ollama 也许是目前最便捷的大模型部署和使用工具,对小白非常友好。简单的命令行操作,用户即可快速启动和管理模型,极大降低了技术门槛,用户可以专注于模型的应用,而无需关注底层技术细节。此外,Ollama 的离线运行也为数据安全提供了保障。期待大家在使用 Ollama 的过程中,发现更多有趣的 AI 应用场景。让我们一起推动大模型技术的应用落地,探索更广阔的可能性!

2401_85373898的博客 2722

全量级开源多模态大模型书生·万象InternVL2.5全面升级

与其他采用300M或600M视觉编码器的多模态大模型相比,InternVL2.5-78B搭载了一个6B的视觉编码器,在仅使用1/10的训练数据量的情况下,实现了更优的性能。图1: 在OpenCompass榜单上,书生·万象2.5(InternVL2.5)在10亿~780亿量级多模态大模型中展示出强大的多模态能力,可与闭源模型相媲美,MMMU性能突破70%基于此现状,书生·万象2.5在训练、测试策略和数据质量等方面不断取得新突破,从而提供更强大的多模态基座模型,进而为相关学术研究和产业应用创新做出贡献。

OpenGVLab的博客 1313

InternVL 微调实践闯关任务

InternVL 是一种用于多模态任务的深度学习模型,旨在处理和理解多种类型的数据输入,如图像和文本。它结合了视觉和语言模型,能够执行复杂的跨模态任务,比如图文匹配、图像描述生成等。通过整合视觉特征和语言信息,InternVL 可以在多模态领域取得更好的表现。对于InternVL这个模型来说,它vision模块就是一个微调过的ViT,llm模块是一个InternLM的模型。对于视觉模块来说,它的特殊之处在Dynamic High Resolution。

sq8912的专栏 1268

InternLM Camp4 L1G200 玩转书生「多模态对话」与「AI搜索」产品

本博客是第四期书生大模型实战营基础岛的第二个大任务。在该任务中,我们会体验书生系列最新的多模态产品,包括书生·浦语、书生·万象和MindSearch等。

weixin_51617262的博客 885
上一篇: InternVL2.5技术报告共读精彩回顾,这样的圆桌多来亿点点!
下一篇: “迷你版”书生·万象大模型开源,5%参数实现九成性能,“小而美”易迁移
OpenGVLab
博客等级 码龄2年 418粉丝 38原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值