（二）关于InternVL2的环境安装

已于 2025-02-14 15:28:55 修改
阅读量1.3w 收藏 10
点赞数 14
分类专栏： 多模态大模型-InternVL 文章标签： 计算机视觉 人工智能 语言模型 transformer
于 2024-10-29 09:54:14 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_36523839/article/details/143111475
版权

（二）关于InternVL2的环境安装

环境安装

提示：关于环境安装本章节主要参考官网，也会有一些难点说明。所以也可同时参考[官网](https://internvl.readthedocs.io/en/latest/get_started/installation.html)安装流程

  • 克隆官方仓库
git clone https://github.com/OpenGVLab/InternVL.git
  • 创建一个conda环境并使用
conda create -n internvl python=3.9 -y
conda activate internvl
  • 安装依赖
    关于依赖的安装可做选择，官网提供的 req
了解本专栏 订阅专栏 解锁全文 超级会员免费看
从图像到万象，InternVL 2.0 书生·万象多模态大模型发布！
强化学习曾小健
07-23 2616
目录收起代码开源/模型使用方法：76B大模型，司南评测优于GPT-4O8B端侧小模型，消费级单卡可部署试用Demo：正文开始！
（五）关于InternVL2的模型训练二（如何训练目标定位模型）
昆兰.沃斯 的博客
10-29 865
以InternVL2作为基础，介绍多模态大模型的训练、推理以及其它相关知识
安装InternVL
m0_60657960的博客
05-10 1203
【代码】安装InternVL。
InternVL 项目安装和配置指南
gitblog_07903的博客
09-13 483
InternVL 项目安装和配置指南 InternVL 项目地址: https://gitcode.com/gh_mirrors/in/InternVL 1. 项目基础介绍...
InternVL-Chat-V1-5的安装与使用教程
gitblog_02789的博客
12-12 430
InternVL-Chat-V1-5的安装与使用教程 InternVL-Chat-V1-5 项目地址: https://gitcode.com/hf_mirrors/ai-gitcode/InternVL-Chat-V1-5 ...
MLM之InternVL：InternVL(GPT-4V的开创性开源替代品/通过开源套件缩小与商业多模态模型的差距)的简介、安装和使用方法、案例应用之详细攻略
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
05-15 3020
​ MLM之InternVL：InternVL(GPT-4V的开创性开源替代品/通过开源套件缩小与商业多模态模型的差距)的简介、安装和使用方法、案例应用之详细攻略 目录 InternVL的简介 InternVL的安装和使用方法 InternVL的案例应用 InternVL的简介 InternVL将ViT扩展到6B参数，并将其与LLM对齐。InternVL是一个开源的多模态视觉语言模型系列，它可以解决视觉与语言交叉领域的各种任务。InternVL的主要特点和
（四）关于InternVL2的模型训练一（如何训练目标定位模型）
昆兰.沃斯 的博客
10-29 825
以InternVL2作为基础，介绍多模态大模型的训练、推理以及其它相关知识
基于开源大型lmm模型生成标签对InternVL2-1B等轻量lmm模型进行微调
a486259的博客
10-08 350
基于开源大型lmm模型生成标签对InternVL2-1B等轻量lmm模型进行微调，提升InternVL2-1B等轻量lmm模型的能力。本实验在window下，基于3060 12g显卡进行实验。基于qwen2-vl 7b模型生成标签（电脑显存大的话可以考虑qwen2-vl 72b模型），然后对InternVL2-1B进行Lora微调。以voc2012_val里面的3000多个图片为训练数据，耗时1小时完成。最后测试微调前后的模型，可以发现微调后的InternVL2-1B模型在特定任务上（目标与数量识别）的能力
L2-InternVL 多模态模型部署微调实践
Finnwestbrook的博客
08-27 1654
InternVL 是一种用于多模态任务的深度学习模型，旨在处理和理解多种类型的数据输入，如图像和文本。它结合了视觉和语言模型，能够执行复杂的跨模态任务，比如图文匹配、图像描述生成等。与 qlora 微调的一个很大区别在于内存占用，采用了量化策略的 qlora内存占用更低（memory：22947（qlora）-25286（lora））；第二个区别是 lora 微调的情况下，loss会更低一点。两个文件的主要区别如下，qlora 使用了量化策略。查看回复，回答并不满足我们的预期，需要微调。
InternVL 多模态模型部署微调实践
qq_73754220的博客
11-14 2088
多模态大语言模型 ( Multimodal Large Language Model) 是指能够处理和融合多种不同类型数据(如文本、图像、音频、视频等) 的大型人工智能模型。这些模型通常基于深度学习技术， 能够理解和生成多种模态的数据， 从而在各种复杂的应用场景中表现出强大的能力。常见的MLLM多模态研究的重点是不同模态特征空间的对齐我们主要通过## 1.导入相关依赖包## 2.使用你的模型初始化推理管线## 3.读取图片（此处使用PIL读取也行）## 4.配置推理参数。
InternVideo 项目使用教程
gitblog_00735的博客
09-25 1620
InternVideo 项目使用教程 InternVideo InternVideo: General Video Foundation Models via Generative and Discriminative Learning (https://arxiv.org/abs/2212.03191) ...
多模态大模型 intern_vl 2.0版本解读
samoyan的博客,记录技术成长~
08-06 4841
（还是internvl1.5）我们介绍了InternVL2，这是目前最强大的开源多模态大语言模型（MLLM）。InternVL2家族包括从适合边缘设备的1B模型到显著更强大的108B模型。通过更大规模的语言模型，InternVL2-Pro展示了出色的多模态理解能力，在各种基准测试中表现与商业闭源模型相当。
InternVL2-1B成社区最喜爱的多模态大模型？低门槛微调教程来啦
2401_88022375的博客
10-12 1785
在训练脚本 /root/code/XTuner/xtuner/configs/internvl/v2 /internvl_v2_internlm2_2b_qlora_finetune.py 里，这个参数默认值是 lr = 1e-6。/root/code/XTuner/xtuner/configs/internvl/v2 文件夹里，有一个 internvl_v2_internlm2_2b_qlora_finetune.py 文件，这个文件是用 qlora 方法去微调 InternVL2 系列模型的一个脚本。
InternVL2: Better than the Best—Expanding Performance Boundaries of Open-Source Multimodal Models
a486259的博客
03-09 1003
基于对InternVL2的分析，可以得到以下经验： 1、对于将预训练好的VIT与LLM模型组装成mllm模型时，可以只训练MLP部分，实现快速的模态对齐 2、llm部分的升级可以大幅度提升mllm模型的效果，尤其是在非标准格式问答中 3、数据分布域的改变，导致在标准格式输出，如grounding任务中，模型性能的下降（这表明模型能力的提升不一定是全面的）
多模态大模型识别边界框实践—股票K线图启明之星形态
xiezj007的博客
10-05 2529
本文验证了多模态大模型MLLM对开放式人为定义图形的边界框识别能力，例如K线形态启明之星的边界框坐标识别。
InternVL 官方教程来了！
OpenGVLab的博客
07-31 1235
GitHub - OpenGVLab/InternVL: [CVPR 2024 Oral] InternVL Family: A Pioneering Open-Source Alternative to GPT-4o. 接近GPT-4o表现的可商用开源多模态对话模型。部署、微调、API，应有尽有哦！
（八）关于InternVL2的优化加速——如何提高三倍的推理速度
昆兰.沃斯 的博客
11-05 329
以InternVL2作为基础，介绍多模态大模型的训练、推理以及其它相关知识
【万字长文】【InternVL】InternVL2-26B模型部署全攻略
艰难困苦，玉汝于成。
09-27 4863
LMDeploy 是一个用于压缩、部署、服务 LLM 的工具包，由 MMRazor 和 MMDeploy 团队开发。
8G 显存玩转书生大模型 Demo
Ailerx的博客
07-26 337
来启动我们的 Demo。
internvl2本地部署gpu
最新发布
03-25
### 如何在本地部署 InternVL2 模型并启用 GPU 支持 #### 环境准备 为了成功部署 InternVL2 并利用 GPU 加速，需确保安装必要的依赖库以及配置正确的硬件驱动程序。以下是具体的准备工作： - 安装 NVIDIA CUDA 和 cuDNN 库以支持 GPU 计算[^2]。 - 使用 `torch` 或其他框架的 GPU 版本作为基础计算引擎。 ```bash pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 ``` 上述命令中的 `cu118` 表示针对 CUDA 11.8 的版本，请根据实际使用的显卡型号调整 CUDA 版本号。 --- #### 配置 DeepSpeed DeepSpeed 是一种高效的分布式训练工具，在微调过程中可以显著降低内存占用并提升性能。通过指定参数 `--deepspeed deepspeed_zero2` 启用第二代 ZeRO (Zero Redundancy Optimizer)[^1]。 创建一个简单的 DeepSpeed 配置文件 (`ds_config.json`) 来优化 GPU 资源分配： ```json { "fp16": { "enabled": true, "loss_scale": 0, "initial_scale_power": 16, "loss_scale_window": 1000, "hysteresis": 2, "min_loss_scale": 1 }, "optimizer": { "type": "AdamW", "params": { "lr": 3e-5, "betas": [0.9, 0.999], "eps": 1e-8, "weight_decay": 3e-7 } }, "zero_optimization": { "stage": 2, "offload_optimizer": { "device": "cpu" } } } ``` 启动脚本时加载此配置文件即可实现更优的 GPU 利用率。 --- #### 微调与推理过程中的 GPU 设置 当执行微调任务时，可以通过设置环境变量或修改代码逻辑来控制 GPU 设备的选择。例如： ```python import os os.environ["CUDA_VISIBLE_DEVICES"] = "0" # 只使用第一个 GPU ``` 如果需要动态检测可用设备数量，则可采用如下方法： ```python import torch if torch.cuda.is_available(): device_count = torch.cuda.device_count() print(f"{device_count} GPUs detected.") else: print("No GPU available.") ``` 对于大规模数据集处理场景下推荐结合 DDP（Distributed Data Parallel）模式进一步扩展到多张显卡上完成运算操作。 --- #### 常见问题排查 尽管官方文档提供了详尽指导但仍可能存在兼容性障碍等问题发生概率较小但值得注意的是某些特定条件下仍会出现异常情况比如无法识别NVIDIA驱动或者PyTorch版本冲突等等此时建议尝试更新至最新稳定版软件包同时查阅社区论坛获取更多帮助资源链接。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值