【书生大模型实战营】进阶岛 第4关 InternVL 多模态模型部署微调实践

任务

• follow 教学文档和视频使用QLoRA进行微调模型，复现微调效果，并能成功讲出梗图.
• 尝试使用LoRA，或调整xtuner的config，如LoRA rank，学习率。看模型Loss会如何变化，并记录调整后效果(选做，使用LoRA或调整config可以二选一)

1. InternVL 推理部署

使用pipeline进行推理

from lmdeploy import pipeline
from lmdeploy.vl import load_image

pipe = pipeline('/root/demo/model/InternVL2-2B')

image = load_image('/root/demo/internVL_demo/007aPnLRgy1hb39z0im50j30ci0el0wm.jpg')
respon