大模型微调报错：RuntimeError: expected scalar type Half but found Float

原创 已于 2024-01-25 16:34:48 修改 · 2.9k 阅读 · 11 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#pytorch #深度学习 #人工智能

于 2024-01-25 13:42:07 首次发布
博主在使用bfloat16精度训练ChatGLM时遇到RuntimeError，解决方法是统一代码中的精度设置，包括模型和数据转换为torch.float32，以及确保模型参数也调整为兼容类型。

微调chatglm 报错RuntimeError: expected scalar type Half but found Float

1. 背景

博主显卡：3090
最初的设置：bfloat16
开始训练后，线性层报错

2. 解决: 统一代码中所有精度

1）将模型和数据精度都设置为torch.float32/torch.float16

xxx = torch.tensor(xxx, dtype=torch.float32)
model.config.torch_dtype = torch.float32

2）将模型参数都设置为torch.float32/torch.float16

for param
最低0.47元/天 解锁文章
RuntimeError: expected scalar type Half but found Float解决方案
weixin_39818775的博客
05-11 3006
这种数据类型不匹配可能发生在模型推理、损失计算或优化器更新等各种操作期间。通过仔细检查数据类型、必要时进行数据转换以及利用适当的工具和技术，您可以有效地解决。某些优化器和损失函数可能需要特定配置或调整才能与半精度数据一起使用。确定哪个操作或函数导致了错误。这可能涉及检查代码或使用调试工具。这可能涉及设置模型参数或使用支持半精度特定模型构建器。等工具来识别与数据类型不匹配相关的潜在问题。采用混合精度训练技术，在某些操作中保持。确保传递给操作的数据类型为预期的。错误，并确保您的模型顺利运行。
LLM-大模型训练-常见错误：RuntimeError: expected scalar type Half but found Float
u013250861的博客
06-25 2798
在经过了亲身的实践后，终于找到了解决问题的方案，最终将逐步的操作过程总结如下。希望能对遇到同样bug的同学有所帮助。Peft版本不兼容，尝试使用不同版本的Peft。
为什么90%的大模型落地项目都选择ONNX Runtime？真相来了
最新发布
AlgoInk的博客
10-02 1275
解决大模型部署难题，提升推理效率。大模型推理引擎ONNX Runtime支持多平台、硬件加速与模型压缩，广泛应用于AI推理场景，兼容性强、性能优异。90%项目选择的背后是稳定高效的落地实践，值得收藏。
RuntimeError: expected scalar type Half but found Float
adminHD的博客
11-09 9778
经过：在注意力模块中，会有较多的矩阵运算，在训练时出现了cuda和cup类型的冲突(另一篇我写的文章)；而在验证时出现了上述错误。出错的位置在torch.bmm()处，在这里进行了一次矩阵乘法运算。由于两个数据的类型不同，因此发生冲突。解决方案：仍然是用to()方法，修改数据类型为另一个数据的类型。起因：将CCNet的十字交叉注意力模块移植到YOLOv5中。
解决ChatGML启动报错：RuntimeError: expected scalar type Half but found Float
Su_Levi_Wei的博客
07-11 1420
原始命令：model = AutoModel.from_pretrained("/app/model/chatglm2-6b",trust_remote_code=True).half().cuda()改为：model = AutoModel.from_pretrained("/app/model/chatglm2-6b",trust_remote_code=True).cuda()1、编辑web_demo2.py文件。2、在原始命令加上.half()
MOSS LORA 方式微调报错，RuntimeError: expected scalar type Half but found Float解决方案
uloveqian的博客
05-19 2028
在model_class.model.from_pretrained(args.model_name_or_path, load_in_8bit=True, device_map=device_map)中将load_in_8bit=True 修改为 torch_dtype=torch.float16。最近用V100微调MOSS、ChatGLM等模型，过程中报错RuntimeError: expected scalar type Half but found Float。
关于yolov8使用动态卷积DCNv3出现RuntimeError: expected scalar type Half but found Float的错误
bajinzhixing的博客
12-06 1930
self.args.half = False # 关闭半精度验证（额外添加的代码）在ultralytics/engine/validator.py中的113行左右加入如下代码。本人训练第一轮yolov8是没有问题的，但是验证时报了如上错误。关闭yolov8半精度验证即可。
在对ChatGLM模型微调训练和预测报错：RuntimeError: expected scalar type Half but found Float...如何解决？
**My Coding Family**
08-22 1035
🏆本文收录于 《全栈Bug调优(实战版)》 专栏，该专栏专注于分享我在真实项目开发中遇到的各类疑难Bug及其深层成因，并系统提供高效、可复现的解决思路和实操方案。无论你是刚入行的新手开发者，还是拥有多年项目经验的资深工程师，本专栏都将为你提供一条系统化、高质量的问题排查与优化路径，助力你加速成长，攻克技术壁垒，迈向技术价值最大化与职业发展的更高峰🚀！
YOLOV8GPU训练报错：RuntimeError: expected scalar type Half but found Float
qq_37040743的博客
07-22 926
YOLOV8在cpu上运行没问题，一旦上GPU就会报错。
Debug：RuntimeError: expected scalar type Half but found Float
Linxiaojiejieya的博客
09-18 461
然后在linear,115行左右，这个改不改无所谓 主要是网络配置结构有问题。然后仔细看了一下输出的网络结构，发现网络结构配置文件有问题。
torch1.7.1问题报错：RuntimeError: expected scalar type Half but found Double
kao_lengmian的博客
01-20 6919
先来一点code，关于 矩阵相乘。 v_b = np.array(list(vectors2.values())) b_feature = torch.from_numpy(v_b).to(device) b_feature /= b_feature.norm(dim=-1, keepdim=True) with torch.no_grad(): w_features = model.encode(w_inputs) w_features /= w_feat
RuntimeError: 预期的标量类型为Half，但找到了Float解决方案 - Python
CyberLancer的博客
09-20 761
在Python编程中，当您遇到类似于"RuntimeError: 预期的标量类型为Half，但找到了Float"的错误时，这意味着您的代码中存在一些与数据类型不匹配的问题。如果您仍然遇到困难，请检查您的代码和库的文档，以了解它们是否支持半精度浮点数，并查找适当的解决方法。如果您的输入数据是半精度浮点数（half-precision floating point），请确保您的代码和库支持该数据类型。数据类型转换：如果您的输入数据类型与所需类型不匹配，您可以尝试使用适当的数据类型转换函数将其转换为所需类型。
RuntimeError: expected scalar type Float/Half but found Half/Float
weixin_49044667的博客
09-20 3263
用pytorch遇到的报错，将输入特征图使用x.float()进行类型转换。
expected scalar type float but found half
jacke121的专栏
03-16 3525
这个问题很明显就是网络内的参数类型不同意；
运行深度学习模型出现“RuntimeError:expected scalar type Long but found Float”， 成功解决！
热门推荐
张帅影&RS&DeepLearning
06-09 1万+
最近在做深度学习分类时遇到了如标题所示的错误，奈何不知如何修改，最后经过探索，成功解决！ 下面直接上报错问题及解决方案。 错误 解决方案 实际做分类时：分类的标签应该是long，图像是float32 因此，将数据类型修改一下就成功了！ 貌似又有新的bug了，不过不要紧，待我成功解决，再来分享给大家！ ...
RuntimeError: expected scalar type Int but found Float解决思路之一
qq_37198234的博客
05-10 8084
写模型的时候出现如下问题： （其中的类型其实可以任意变换） 我的问题出在投进的数据问题，即x_t数据类型出问题了 x_t的类型应该是tensorInt 我们要在预处理数据的时候转成tensorFloat 原： inpu_t = torch.from_numpy(np.asarray(input)) 现： inpu_t = torch.from_numpy(np.asarray(input)).float() ...
[报错]RuntimeError: expected scalar type Double but found Float(torch)
panbaoran913的博客
07-20 1万+
torch训练模型的时候的数据类型的报错
yolov5报错：RuntimeError: expected scalar type Half but found Float
03-31
这个报错通常是由于使用了混合精度训练（mixed-precision training）时，模型和输入数据的精度不一致导致的。可以尝试以下方法解决： 1. 在训练脚本中设置精度为 float16： ```python from torch.cuda.amp import ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值