在Autodl中部署chatglm3-6b,在使用微调代码时出现的问题TypeError empty() received an invalid combination of arguments.

问题概述

大模型小白想要玩一下大模型,所以选择使用Autodl部署chatglm3-6b大模型练练手。分享一个比较靠谱的部署文档https://juejin.cn/post/7446446473397878821,这位老师的部署文档很清晰、不废话、强力推荐。但是大模型存在更新快等问题,所以有的时候就会出现库版本与代码冲突的问题。而我是实际使用中遇到的问题就是在最后一步微调中出现的问题,在此进行叙述,帮助此处出问题的同学快速跨过问题点。

问题详细说明

当我将微调数据处理完成之后,要开始使用微调命令 python finetune_hf.py /mnt/workspace/ChatGLM3/finetune_demo/data/fix /mnt/workspace/chatglm3-6b configs/lora.yaml之后。
系统提示错误:
请添加图片描述
我使用了很多方法调整相关内容,但是都无效。

问题解决方法详细说明

在这里插入图片描述
我们可以看到在requirements.txt 中并没有包括torch版本、transformers版本和pefr版本。但是可以根据deepspeed==0.16.2在deepseek中文对应的torch版本,再由torch版本找到对应的transformers版本,再由transformers版本找到pefr版本。
当然在此过程中也出现了一些其他的问题,我处理的时候也是一步一步慢慢处理。我的处理命令如下:
在这里插入图片描述
当按照上述步骤完成之后,在执行文件,如下图:
在这里插入图片描述
在这里插入图片描述
微调成功!!!!

总结

尝试使用不同的方法对错误进行调整之前,需要根据时间库情况确定好torch、transfiormets、pefr等几个重要库的版本是否正确。之后在怀疑其他情况出现的问题。这样也许能够节约大量的时间。(部分内容或者说法可能会有问题,也欢迎各位同学的指正和交流)

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值