（十二）关于InternVL2.5的模型训练方法——InternVL2.5与InternVL2.0的训练区别以及步骤作用

最新推荐文章于 2025-04-09 00:01:00 发布
最新推荐文章于 2025-04-09 00:01:00 发布
阅读量648 收藏
点赞数 4
分类专栏： 多模态大模型-InternVL 文章标签： 计算机视觉 人工智能 语言模型 transformer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_36523839/article/details/144564123
版权

（十二）关于InternVL2.5的模型训练方法——InternVL2.5与InternVL2.0的训练区别以及步骤作用

前言

大部分操作与前面系列文章InternVL2.0的操作一样，可作参考

2024.12.5 上海人工智能实验室发布了 InternVL2.5版本的多模态大模型，但未提供相关训练、微调的代码。2024.12.18 上海人工智能实验室又发布了InternVL2.5模型相关训练、微调的代码。所以本篇文章我们来介绍下InternVL2.5多模态大模型的训练方法，以及对比一下与之前InternVL2.0版本有什么区别。
在查看官方文档后发现了一个特别令人兴奋的事情后面来说说~~
关于InternVL2.5在自定义数据集上的表现如何？与InternVL2.0在同样数据集上的训练测评效果如何？目前模型还在训练中，这个会在下一篇文章中介绍。

InternVL2.5代码仓库地址：点这里
InternVL2.5系列模型 HuggingFace 地址：点这里

地址失效的话直接网站搜索就可以

了解本专栏 订阅专栏 解锁全文 超级会员免费看
（十三）关于InternVL2.5的模型训练效果——自定义数据集的训练效果InternVL2.5与InternVL2.0对比
昆兰.沃斯 的博客
12-25 466
以InternVL2作为基础，介绍多模态大模型的训练、推理以及其它相关知识
【LLM-多模态】高效多模态大型语言模型综述
weixin_45607947的博客
06-21 2224
一、结论写在前面模型规模的庞大及训练和推理成本的高昂，限制了MLLMs在学术界和工业界的广泛应用。因此，研究高效轻量级的MLLMs具有巨大潜力，特别是在边缘计算场景中。论文深入探讨了高效MLLM文献的领域，提供了一个全面的视角，涵盖了其核心主题，包括基础理论及其扩展。论文的目标是识别并强调需要进一步研究并提出未来研究可能的方向。论文旨在提供一个关于高效MLLM当前状态的全面视角，希望能够激发更多的研究。鉴于该领域的动态性，可能有些最新的发展并未被完全覆盖。为此，论文建立了一个专门的网站，利用众包来跟上最新的
【理论与实操兼备】深入揭秘InternVL-2.5训练细节：从原理到应用全面解析！
m0_65555479的博客
01-07 1467
最近书生（internVL）2.5发布了一系列模型，包含78B、38B、8B等多种不同size的多模态模型，恰逢工作单位在清华大学开设了一个workshop，有幸听到通讯作者代季峰教授做了一个关于多模态导向与设计训练的分享，收益匪浅。由于之前做过关于internVL-2的微调，在OCR相关能力上表现非常不错。于是便萌生了写一篇对InternVL-2.5详细剖许的文章（如果后续有时间也会补一篇代码层面的剖析）。论文：https://arxiv.org/abs/2412.05271。
InternVideo2.5：Empowering Video MLLMs with Long and Rich Context Modeling
最新发布
lovep1的博客
04-09 843
1、InternVideo2.5通过LRC建模来提升MLLM的性能。 2、层次化token压缩和任务偏好优化（mask+时空 head）整合到一个框架中，并通过自适应层次化token压缩来开发紧凑的时空表 3、MVBench/Perception Test/EgoSchema/MLVU数据benchmark上提升明显
【LLM多模态】InternVL模型架构和训练过程
热门推荐
发现问题，并解决问题，批判性思维
07-13 1万+
视觉编码器：InternViT-6B 动态高分辨率（和很多多模态LLM不一样的地方）：我们将图像根据输入图像的纵横比和分辨率划分为1到40块，每块为448×448像素（图像很大则会被切分，每个块被模型独立处理，可以更好地处理图像的细节），从而支持高达4K分辨率的输入（40个小块）。具体的处理方法如下图。 使用pixel shuffle将视觉token减少到原来的四分之一（原始为1024个token）。PixelUnshuffle操作（即Space2Depth操作，即把相邻区块的特征从空间维度往通道维度上堆叠
（第三期）书生大模型实战营——InternVL(冷笑话大师)部署微调实践
a_blade_of_grass的博客
08-21 1530
Pixel Shuffle在超分任务中是一个常见的操作，PyTorch中有官方实现，即nn.PixelShuffle(upscale_factor) 该类的作用就是将一个tensor中的元素值进行重排列，假设tensor维度为[B, C, H, W], PixelShuffle操作不仅可以改变tensor的通道数，也会改变特征图的大小。对于输入的图片，首先resize成448的倍数，然后按照预定义的尺寸比例从图片上crop对应的区域。这里我们也为大家准备好了可以直接进行微调的数据集。进入XTuner目录。
InternVL 部署微调实践-训练微调模型打造AI美食家
NoemPol的博客
12-30 897
InternVL部雪微调实践-训练微调模型打造AI美食家
InternVL 多模态模型部署微调实践 | 书生大模型
qq_45931691的博客
11-15 2001
多模态大模型是指能处理和融合多种不同类型数据（如文本、图像、音频、视频等）的大模型常见的 MLLMInternVLGPT-4oQwen-VLLLaVA基座模型选用 InternLM2 - Chat - 20B视觉编码器选用 InternVit - 6B对齐模块选用 MLP projector主要通过## 1.导入相关依赖包## 2.使用你的模型初始化推理管线## 3.读取图片（此处使用PIL读取也行）## 4.配置推理参数。
从表征视角看VLLM（4）——Inter-VL系列模型
weixin_63482830的博客
02-18 926
从表征视角看VLLM（4）——Inter-VL系列模型
突破闭源封锁！InternVL 2.5 革新开源多模态模型格局？
m0_59235945的博客
12-10 2319
本月 5 号，上海 AI 实验室旗下的 OpenGVLab 团队发布了其最新的开源多模态大语言模型 InternVL2.5 系列。其中 InternVL2.5 78B 是首个在 MMMU benchmark 上得分超过 70 的开源模型，同时超越 Chatgpt-4o 与 Claude-3.5-Sonnet!书生·万象 InternVL 2.5[1] 最新的多模态大模型家族涵盖由 1B 到 78B 的不同模型，适配不同需求的使用场景和硬件需求。
InternVL 1.5：开源多模态大模型的“黑马”，性能比肩GPT-4V！ （开源免费｜可商用）
FrenzyTechAI的博客
05-18 5775
InternVL 1.5 是一款开源的多模态大型语言模型，它在处理高分辨率图像和支持多语言方面取得了显著进展。该模型通过强大的视觉编码器和动态分辨率适配技术，以及整合全面的双语数据集，缩小了与商业模型之间的性能差距。在 OCR 相关任务和双语场景理解中，InternVL 1.5 展现了其增强后的能力，成为了先进人工智能系统中的有力竞争者。
InternVL 2.5 介绍
qq_44761480的博客
12-12 1639
在InternVL 2.5中，我们系统地探索了MLLM中的各种因素，包括视觉编码器、语言模型、数据集大小和推理时间的变化如何影响模型的整体性能，展示了多模态模型中扩展与性能之间的关系。大视觉编码器减少数据依赖：在扩展MLLM时，大型视觉编码器显著降低了对训练数据的依赖。如表3所示，与配备6亿参数视觉编码器的Qwen2-VL - 72B相比，我们拥有60亿参数视觉编码器的InternVL2.5 - 78B仅使用1/10的训练标记就能实现更好的性能。这在扩展MLLM时大大降低了探索成本。数据质量至关重要。
书生InternVideo2.5开源，万帧长视频准确“大海捞针”，精细感知真实时空关系
OpenGVLab的博客
02-12 1032
近日，上海人工智能实验室（上海AI实验室）联合南京大学、中科院深圳先进技术研究院共同开源视频多模态大模型书生InternVideo2.5。在视频理解领域，全新升级的InternVideo2.5取得时间跨度与细粒度的双维提升，“记忆力”较前代模型扩容6倍，具备万帧长视频中精准“大海捞针”能力，AI视频理解既能“短平快”，亦可“长深细”。让AI得以更准确“看懂”纷繁的真实世界，更为多领域应用注入新质生产力。书生InternVideo系列模型此前已应用于中央广播电视总台。
InternLM2.5 部署到安卓手机上
qq_33382118的博客
08-30 614
安装包，下载到手机上运行 运行App需要能访问huggingface下载模型(参考文档中的bundle方法需要ADB刷入模型数据)如果是本地可以WIFI或USB调试不用签名，在服务器构建需要签名 修改。这一步需要能访问huggingface，可能需要部署代理。为如下内容，主要是增加了签名部分，注意确认签名文件的位置。测试如下输出说明安装正确。运行编译命令，完成后在。
InternVL2.5 MacOS 复现指南
SF_Suen的博客
02-11 1006
InternVL2.5 可在 Apple M 系列芯片（M4 Pro 24GB）上安装、推理、与训练。支持 MPS (float32 / float16 / bfloat16)，但需禁用 Flash Attention 并优化计算。 LoRA 训练可行（显存 22GB/24GB），Full 训练可能溢出。 受内存和算力限制，适用于调试和架构验证。
【论文分享】InternVideo: General Video Foundation Models via Generative and Discriminative Learning
crazyjinks的博客
07-25 3418
最近，基础模型在计算机视觉领域的各种下游任务上表现出色。然而，大多数现有的视觉基础模型仅关注图像层次的预训练和适应（adaption），这对于动态且复杂的视频层次理解任务来说是有限的。为了填补这一空白，我们通过利用生成式和判别式自监督视频学习的优势，提出了通用视频基础模型InternVideo。具体来说，InternVideo高效地探索了遮罩视频建模和视频-语言对比学习作为预训练目标，并以可学习的方式选择性地协调这两个互补框架的视频表示，以提升各种视频应用。
理论与实操兼备：深入揭秘InternVL-2.5训练细节
CV_Autobot的博客
01-18 492
作者|404dreamer编辑| 自动驾驶之心原文链接：https://zhuanlan.zhihu.com/p/14527170215点击下方卡片，关注“自动驾驶之心”公众号戳我-> 领取自动驾驶近15个方向学习路线>>点击进入→自动驾驶之心『大语言模型』技术交流群本文只做学术分享，如有侵权，联系删文1 前言最近书生（internVL）2.5发布了一系列模型，包含78B...
本地部署大模型？看这篇就够了，Ollama 部署和实战
2401_85373898的博客
11-13 2201
如果要使用的模型不在 Ollama 模型库怎么办？至此，我们一起走完了 Ollama 的部署和实战流程。在我看来，Ollama 也许是目前最便捷的大模型部署和使用工具，对小白非常友好。简单的命令行操作，用户即可快速启动和管理模型，极大降低了技术门槛，用户可以专注于模型的应用，而无需关注底层技术细节。此外，Ollama 的离线运行也为数据安全提供了保障。期待大家在使用 Ollama 的过程中，发现更多有趣的 AI 应用场景。让我们一起推动大模型技术的应用落地，探索更广阔的可能性！
论文翻译InternVL 2.5，这是一个先进的、多模态的大型语言模型（MLLM）系列，
强化学习曾小健
12-17 1169
近年来，多模态大语言模型（MLLMs）已成为人工智能领域的关键技术，能够处理和理解来自多种模态的信息，如文本、图像和视频。这些模型在自然语言处理、计算机视觉和人机交互等领域展现了巨大的潜力。然而，开发大规模的多模态大语言模型仍然是一项极具挑战性的任务，需要大量的计算资源、复杂的架构以及有效整合多种数据类型的能力。为了应对这些挑战，研究者们进行了多种尝试，包括改进模型架构、扩展视觉编码器和语言模型、引入更多样化和高质量的数据集，以及优化测试时的扩展过程以提升性能。
internvl2.5论文
03-21
### 关于 InternVL 2.5 的论文和技术文档 InternVL 2.5 是由上海 AI 实验室的 OpenGVLab 团队推出的一款开源多模态大语言模型，其技术细节和研究成果通常会通过学术论文的形式发布。根据已知的信息，可以推测 InternVL 2.5 的相关论文可能涵盖了以下几个方面的内容： 1. **模型架构改进** InternVL 2.5 基于 InternVL 2.0 进行了显著增强，在训练策略、测试方法以及数据质量等方面都有所提升[^1]。 2. **性能边界扩展** 论文中提到，InternVL 2.5 致力于拓展开源多模态模型的性能边界，尽管与某些闭源商业模型相比仍存在差距，但在特定领域已经取得了重要进展[^2]。 3. **资源获取途径** 对于具体的论文下载或技术文档访问，建议参考以下方式： - 官方网站：OpenGVLab 提供的技术博客或项目主页可能会链接至最新的研究论文。 - 开源平台：GitHub 上的相关仓库通常附带详细的 README 文件，其中包含论文链接或其他参考资料。 - 学术数据库：如 arXiv, ACL Anthology 等平台上搜索关键词 “InternVL 2.5”，可找到对应的预印本或正式发表版本。 以下是基于 Python 编写的简单脚本，用于自动化检索论文链接（需安装必要的库）： ```python import requests from bs4 import BeautifulSoup def search_paper(keyword): base_url = f"https://arxiv.org/search/?query={keyword}&searchtype=all" response = requests.get(base_url) soup = BeautifulSoup(response.text, 'html.parser') results = [] for item in soup.select('.list-article'): title = item.find('p', class_='title').text.strip() link = "https://arxiv.org" + item.find('a')['href'] results.append((title, link)) return results[:5] papers = search_paper("InternVL 2.5") for i, (title, url) in enumerate(papers, start=1): print(f"{i}. {title}\n{url}") ``` 此代码片段可以帮助快速定位关于 InternVL 2.5 的最新研究动态。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值