Deepspeed 报错AssertionError: no sync context manager is incompatible with gradient partitioning logic

最新推荐文章于 2025-03-08 23:51:04 发布
最新推荐文章于 2025-03-08 23:51:04 发布
阅读量2.3k 收藏 1
点赞数 5
CC 4.0 BY-SA版权
分类专栏： 那些年踩过的坑 文章标签： 机器学习 人工智能 数据挖掘 sklearn 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/victor_manches/article/details/144131919

问题描述

在这里插入图片描述
跑deepspeed 代码，环境都支持但是用的2080Ti的显卡，不支持Zero框架。

原因

去DeepSpeed官网看了一眼，英伟达只支持Pascal / Volta / Ampere / Hopper 架构
在这里插入图片描述
对照了下2080Ti系列都是Turing 架构， 所以不支持，所以只有P系列 / V系列 / A / H 系列 以及30XX以上才行
在这里插入图片描述
以常见的英伟达显卡系列架构

解决办法

只能换服务器了。。

解决报错：AssertionError: Torch not compiled with CUDA enabled
weixin_51047199的博客
08-05 719
注：在这个过程中，我还尝试了安装torch2.0.0和2.0.1版本，但是都不可用，显示的是cpu版本的，我在查阅问题原因，说的是cuda11.7不接受2.0以上的版本，建议各位安装2.0以下的版本。因为我的cuda版本为11.7，这里我就安装的pytorch1.13.1版本的。这里我的cuda是不适配torch的，所以需要重新安装适配的torch。这里显示为true，完美解决，撒花。查看这时cuda是否可用。
pyinstaller打包文件出现matplotlib相关报错AssertionError: Failed to determine matplotlib‘s data directory的解决方法
feiyu68的博客
05-04 2587
pyinstaller打包文件出现matplotlib相关报错AssertionError: Failed to determine matplotlib's data directory!的解决方法pyinstaller打包文件出现出现如下报错方法一：方法二：参考 pyinstaller打包文件出现出现如下报错 方法一： 安装 matplotlib 包的旧版本 pip install matplotlib==3.1.0 方法二： 在---- 单一文件模式下，基于 PyInstaller contrib
no sync context manager is incompatible with gradientpartitioning logic of ZeRo stage 3
Kawords的博客
12-03 2924
报错：no sync context manager is incompatible with gradientpartitioning logic of ZeRo stage 3。解决方法：替换deepspeed版本 pip install deepspeed==0.15.4。
IntellIj 2018.3 重新同步gradle时出现java.lang.AssertionError 错误
犟驴的博客
02-26 3274
之前好好的项目，重新打开后就报红，很多包都找不到！然后重新sync gradle 出现这个错误。 在stackoverflow中找到解决方案 原Issue：IntellIj 2018.3 java.lang.AssertionError when refresh gradle project 解决方式： Preference->Build、Execution、Deployment...
LLama factory 单机多卡-简易版-教程
yxx122345的博客
12-10 4409
Offload 技术通过将部分模型的状态或计算从显存转移到更大的主机内存（CPU RAM）或高速存储设备（NVMe），有效降低 GPU 显存占用，同时兼顾性能。声明llama3-3b-instruct不支持deepspeed不要轻易尝试不然debug就是一整天，这个deepspeed不用选！是一种灵活、高效的显存优化技术，通过卸载计算任务和数据到 CPU 或 NVMe，能够支持更大的模型训练，适应不同的硬件条件和需求。训练大型模型（如 GPT-3 或其他数十亿参数的模型）时，显存可能成为瓶颈。
解决AssertionError: No inf checks were recorded for this optimizer
weixin_44904435的博客
10-17 2559
我把代码里的embedding数据类型都输出 一遍，全都改了，发现还是报错，才发现如果设置了trainer的这个yaml文件，也得改。在torch.cuda.amp.grad_scaler.py里面有这段注释。大概意思即float16会溢出，全部换成float32即可。将float16转换为float32，可通过to()函数。
Flutter 开发错误集合
我很好
12-19 1万+
Flutter 开放各种错误集合持续更新中......
AssertionError：断言错误的完美解决方法 ️
热门推荐
沉淀所学，分享所思，让热爱与成长同行。商务记录AI实战经验，助力开发者快速成长。 热爱AI，希望做出有影响力的技术成果。 技术点亮生活，分享连接价值与机会。 专注AI落地实战，陪你走好技术每一步。
08-13 3万+
大家好，我是默语！在Python开发中，是一种常见的错误，通常发生在代码中的某个断言条件不满足时。断言通常用于开发和测试阶段，以确保代码在预期条件下运行。如果断言失败，程序会抛出，提示我们代码中可能存在问题。今天，我将带大家深入探讨如何有效地处理和预防这种错误。是一种非常有用的工具，可以帮助我们在开发和测试阶段发现潜在问题。然而，滥用断言可能导致代码中出现不必要的错误。因此，我们需要谨慎使用assert语句，确保它们只用于真正需要验证的条件。在这篇博客中，我们深入探讨了的产生原因，并提供了多种解决方案。
解决pytorch报错:AssertionError: Invalid device id的问题
01-21
在服务器上训练的网络放到本地台式机进行infer，结果出现报错： AssertionError: Invalid device id ...以上这篇解决pytorch报错:AssertionError: Invalid device id的问题就是小编分享给大家的全部内容了，
AssertionError: No inf checks were recorded for this optimizer(已解决)
qq_50079897的博客
12-15 1491
要解决这个问题，您需要确保模型的所有部分（包括主模型和任何适配器如 LoRA 层）使用一致的数据类型。LoRA 层可能会单独管理其参数的数据类型。确保在应用 LoRA 时，它们与主模型的参数类型一致。在加载模型后，打印所有参数的数据类型，确保它们都是。的实现方式，您可能需要手动覆盖或检查。参数，可以通过以下方式将模型转换为。这个错误表示模型中的某些层期望接收。）类型的张量，但实际接收到的是。，以确保训练过程中不启用半精度。，则会导致类型不匹配。，则需要将整个模型转换为。在解析参数后，强制将。
AssertionError、Error和Throwable
孤云博客
05-05 6659
随时随地阅读更多技术实战干货，获取项目源码、学习资料，请关注源代码社区公众号(ydmsq666) AssertionError继承Error，提供了多个构造方法，代码如下： /* * Licensed to the Apache Software Foundation (ASF) under one o...
LLM-分布式训练工具（一）：DeepSpeed【微软】【大模型分布式训练工具，实现ZeRO并行训练算法】【zero3配置将模型参数切分后分配到不同的显卡中，突破单张显卡容量不足以加载模型参数的限制】
u013250861的博客
06-10 9502
DeepSpeed是微软推出的大规模模型分布式训练的工具，主要实现了ZeRO并行训练算法。本文是huggingface的DeepSpeed文档的笔记，做查询和备忘，初次学习建议结合原始文档食用。
亲测有效java.lang.AssertionError: 断言错误的正确解决方法，嘿嘿
PythonAigc的博客
06-03 2905
`java.lang.AssertionError` 通常在 Java 程序中的断言（assertions）失败时抛出。断言是编程时用来检查程序状态的一种机制，它允许开发者在代码中放置检查点，这些检查点在开发阶段帮助验证程序的状态是否符合预期。如果断言失败（即检查的条件为假），则会抛出 `AssertionError`。
AssertionError: No event data（ControlNet报错）
weixin_66009678的博客
11-07 480
我这个是在自己服务器跑的，用xshell连接，然后用自己的windows访问网址，举个例子，如果自己的服务器是12.12.12.114，那么在浏览器上就输入12.12.12.114:7860，就能访问。出现上述报错的应该是因为gradio的版本较低导致的，可以通过以下方法解决哈！
Deepspeed使用
weixin_43013480的博客
02-08 1532
最近在调试deepspeed进行训练，正好工作的项目中也用到了deepspeed，所以记录一下deepspeed的用法等。pytorch 的DDP比较复杂，所以简单易用的deepspeed应运而生。本文仍然是不完整的，随着学习将会持续更新内容。
AssertionError: Default process group is not initialized
weixin_36670529的博客
05-02 1万+
博主解决这个问题的方法为：如果项目里有分布式训练相关的代码，如果不使用分布式训练，就不要启动syncbn。 参考：https://github.com/pytorch/pytorch/issues/22538
PyTorch 多机多卡训练：分布式实战与技巧
datayx的文章
07-28 3508
向AI转型的程序员都关注了这个号????????????机器学习AI算法工程 公众号：datayxDistributedDataParallel（DDP）是一个支持多机多卡、分布式训练...
【DeepSpeed 教程】四，DeepSpeed ZeRO++博客和代码解析
I good vegetable a!
07-14 2468
图 1：ZeRO++项目亮点展示。左上子图显示，与ZeRO阶段3相比，ZeRO++将通信量减少了4倍。右上子图显示了ZeRO++在RLHF模型训练上的表现，其中ZeRO++使RLHF训练速度提高了1.3倍，token生成速度提高了2倍。大型AI模型正在改变数字世界。由大型语言模型（LLMs）驱动的生成性语言模型，如Turing-NLG、ChatGPT和GPT-4，具有惊人的多功能性，能够执行摘要、编码和翻译等任务。同样，像DALL·E、Microsoft Designer和Bing Image Creato
安装完flash-attn，使用时报错undefined symbol
最新发布
ZhengrongYue的博客
03-08 541
安装完flash-attn，使用时报错undefined symbol
linux报错AssertionError: Torch not compiled with CUDA enabled
12-28
### 解决Linux环境下PyTorch未启用CUDA编译导致的AssertionError 当遇到`assertionerror: torch not compiled with cuda enabled` 错误时，表明当前使用的PyTorch版本并未支持CUDA功能。为了修正这一问题并确保能够正常使用GPU加速计算，建议按照如下方法操作： 安装带有CUDA支持的PyTorch版本可以有效解决问题。对于特定版本如1.8.1而言，应当通过conda安装命令指定cuda版本来获取兼容包[^1]。 ```bash conda install pytorch==1.8.1 torchvision==0.9.1 torchaudio==0.8.1 cudatoolkit=11.1 -c pytorch ``` 上述命令会下载适合于CUDA 11.1环境下的PyTorch及相关库文件。如果计算机上已存在不同版本的CUDA，则需调整`cudatoolkit=`后的参数以匹配本地配置。 另外，在完成新版本PyTorch安装之后，可以通过Python脚本验证CUDA是否可用： ```python import torch print(torch.cuda.is_available()) ``` 此段代码将返回True表示成功启用了CUDA支持；反之则说明仍存在问题需要进一步排查。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

曼城周杰伦

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值