(四)关于InternVL2的模型训练一(如何训练目标定位模型)

(四)关于InternVL2的模型训练一(如何训练目标定位模型)


前言

这一章的内容会比较多,细节也会比较多,会涉及到模型下载、模型路径配置、数据路径配置、脚本重点参数含义说明、最重要的训练策略、执行参数修改和运行、lora模型合并等。
…算了我还是分成两部分来写吧,不然看起来会比较累。


说明

还记得《InternVL2的环境安装》章节我们克隆的InternVL2仓库吗?这是后续我们操作的文件夹,创建的internvl环境是后续使用的环境,以及上一章节创建的work数据目录也会使用。
接下来就进入本章节的介绍吧。


模型下载

进入InternVL2的官网,往下翻可以看到模型下载地址:
在这里插入图片描述
一共提供了两个下载地址,第一个是国际上最流行的大模型仓库地址Hugging Face,第二个是国内的仓库地址魔塔社区ModelScope。我一般是从HF下载模型,如果你因为网络原因的话可以从MS进行下载。魔塔下载好像是需要登录账号的,如果没有的

### 如何在魔搭社区微调InternVL2模型 #### 准备工作 为了成功地在魔搭社区上对InternVL2模型进行微调,需先完成系列准备工作。这包括但不限于安装必要的依赖库以及获取访问权限。 - **环境配置** 确保本地开发环境中已正确设置Python版本,并通过pip工具安装所需软件包。对于大规模模型训练而言,建议采用容器化解决方案来简化部署流程[^4]。 - **数据准备** 微调过程中所使用的特定领域语料至关重要。根据描述,“自我认知”类的数据集被用于使模型能够识别自身身份信息并作出恰当回应[^2]。因此,在开始之前应当准备好类似的标注样本集合作为输入源。 #### 实施步骤概述 尽管这里不使用诸如“首先”这样的引导词,但依然可以清晰表达操作逻辑: - 将预处理后的个性化对话记录加载到内存中供后续迭代优化过程读取; - 启动训练脚本执行权重更新直至收敛稳定; ```bash # 下载官方提供的Dockerfile或其他形式的基础资源 wget https://example.com/path_to_base_image.tar.gz # 解压后进入对应目录查看README文档说明具体定制方法 tar -xf path_to_base_image.tar.gz && cd base_image_folder/ # 编辑settings.py等相关设定项调整超参组合 vi settings.py # 执行make命令构建最终可运行实例 sudo docker build . -t internvl2_finetune:v1.0 # 运行容器映射端口以便监控进度与调试错误 sudo docker run --gpus all -p 8888:8888 -v /local/data:/data internvl2_finetune:v1.0 jupyter notebook --ip=0.0.0.0 --allow-root ``` 上述代码片段展示了从下载基础镜像到最后启动Jupyter Notebook服务的系列指令,方便用户快速搭建起适合自己的实验环境。 #### 训练技巧提示 考虑到多模态特性带来的额外复杂度,在实际操作时可能还需要关注以下几个方面: - 数据增强技术的应用有助于提升泛化能力; - 学习率调度机制的选择影响着收敛速度及效果好坏; - GPU显存占用情况决定了批次大小上限值;
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值