InternVL 微调实践闯关任务

一、关卡任务

基础任务（完成此任务即完成闯关）

• follow 教学文档和视频使用QLoRA进行微调模型，复现微调效果，并能成功讲出梗图.
• 尝试使用LoRA，或调整xtuner的config，如LoRA rank，学习率。看模型Loss会如何变化，并记录调整后效果(选做，使用LoRA或调整config可以二选一)

二、实验过程

InternVL 推理部署

推理后我们发现直接使用2b模型不能很好的讲出梗，现在我们要对这个2b模型进行微调。

InternVL 微调

复制教程config文件，修改XTuner下 InternVL的config，文件在： /root/InternLM/code/XTuner/xtuner/configs/internvl/v2/internvl_v2_internlm2_2b_qlora_finetune.py

然后执行

cd XTuner

NPROC_PER_NODE=1 xtuner train /root/InternLM/code/XTuner/xtuner/configs/internvl/v2/internvl_v2_internlm2_2b_qlora_finetune.py  --work-dir /root/InternLM/work_dir/internvl_ft_run_8_filter  --deepspeed deepspeed_zero1

合并权重&&模型转换

用官方脚本进行权重合并

最后我们的模型在：/root/InternLM/InternVL2-2B/ ，文件格式：

微调后效果对比

替换test_lmdeploy.py，然后跑一下效果。解释的语气完全换了一种风格。