问题概述
大模型小白想要玩一下大模型,所以选择使用Autodl部署chatglm3-6b大模型练练手。分享一个比较靠谱的部署文档https://juejin.cn/post/7446446473397878821,这位老师的部署文档很清晰、不废话、强力推荐。但是大模型存在更新快等问题,所以有的时候就会出现库版本与代码冲突的问题。而我是实际使用中遇到的问题就是在最后一步微调中出现的问题,在此进行叙述,帮助此处出问题的同学快速跨过问题点。
问题详细说明
当我将微调数据处理完成之后,要开始使用微调命令 python finetune_hf.py /mnt/workspace/ChatGLM3/finetune_demo/data/fix /mnt/workspace/chatglm3-6b configs/lora.yaml之后。
系统提示错误:
我使用了很多方法调整相关内容,但是都无效。
问题解决方法详细说明
我们可以看到在requirements.txt 中并没有包括torch版本、transformers版本和pefr版本。但是可以根据deepspeed==0.16.2在deepseek中文对应的torch版本,再由torch版本找到对应的transformers版本,再由transformers版本找到pefr版本。
当然在此过程中也出现了一些其他的问题,我处理的时候也是一步一步慢慢处理。我的处理命令如下:
当按照上述步骤完成之后,在执行文件,如下图:
微调成功!!!!
总结
尝试使用不同的方法对错误进行调整之前,需要根据时间库情况确定好torch、transfiormets、pefr等几个重要库的版本是否正确。之后在怀疑其他情况出现的问题。这样也许能够节约大量的时间。(部分内容或者说法可能会有问题,也欢迎各位同学的指正和交流)