【MindSpore】Ascend环境运行mindspore脚本报：Malloc device memory failed...

最新推荐文章于 2024-11-21 18:29:59 发布
最新推荐文章于 2024-11-21 18:29:59 发布
阅读量3.2k 收藏 2
点赞数 3
CC 4.0 BY-SA版权
文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_45666880/article/details/124273138
本文档介绍了在Ascend环境下运行MindSpore网络脚本时遇到的内存分配失败问题及其原因。当设备HBM空闲内存不足时，可能会导致此错误。解决方法包括切换到未被占用的设备或关闭占用设备的其他进程。建议使用npu-smi检查设备状态，并通过export DEVICE_ID设置空闲设备来重新运行脚本。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

【现象描述】

在Ascend环境安装MindSpore，运行网络脚本时，报如下错误

RuntimeError: mindspore/ccsrc/plugin/device/ascend/hal/device/ascend_memory_adapter.cc:47 Initialize] Malloc device memory failed, free memory size is less than half of total memory size.Device 0 Device HBM total size:34359738368 Device HBM free size:1929908224 may be other processes occupying this card, check as: ps -ef|grep python

【原因分析】

出现此类错误是因为运行网络脚本的设备被占用，当前MindSpore框架在Ascend环境只支持每张卡运行一个网络脚本

【解决办法】

方法一：切换空闲设备

  • 使用npu-smi info查询设备的使用情况，在当前问题场景主要查看HBM-Usage的使用情况，如下图2、3、6卡是空闲设备，npu-smi的详细使用方法

最低0.47元/天 解锁文章

200万优质内容无限畅学
小乐快乐
关注
出现fatal: Out of memory, malloc failed (tried to allocate 524288000 bytes) fatal: Could not read的解决方法
码农研究僧的博客
07-25 4044
通过bug分析，可以看到超出内存，新建内存空间失败，建议扩充内存空间 既然给出方式，我们只需要按照流程走即可
MindSpore性能调试（Ascend）
JIAJIA14754545的博客
12-10 921
在Ascend AI处理器上使用MindSpore Profiler进行性能调试。 流程 准备训练脚本，并在训练脚本中调用性能调试接口，接着运行训练脚本。 启动MindInsight，并通过启动参数指定summary-base-dir目录(summary-base-dir是Profiler所创建目录的父目录)，例如训练时Profiler创建的文件夹绝对路径为/home/user/code/data，则summary-base-dir设为/home/user/code。启动成功后，根据IP和端口访问可视
【Hi3519A】跑yolov3报错Error,Malloc memory failed!
怡宝2号
04-27 1131
报错： [Level]:Debug,[Func]:SAMPLE_COMM_SVP_CheckSysInit [Line]:82 [Info]:Svp mpi init ok! [Level]:Info,[Func]:SAMPLE_SVP_NNIE_Yolov3 [Line]:2935 [Info]:Yolov3 Load model! [Level]:Info,[Func]:SAMPLE_SVP_...
mindspore使用过程中Malloc for kernel output failed, Memory isn‘t enough
weixin_45666880的博客
06-30 456
问题描述：报错信息： 报错代码： 具体描述： 在标红那行代码的前两行代码都执行过报错处的代码，但是均顺利执行，但运行到标红处的时候，调用 get_time_embdding_A函数执行到报错代码处，就出现了报错信息中的错误，这种情况是怎么回事呢？又该如何解决呢？解答：将batch size设得更小...
error: Out of memory, malloc failed
jw20082009jw的专栏
06-24 2576
今天使用gitpull时出现了如上提示，从最后一句“Already up to date”应该可以看出来，git pull这个操作本身是成功了的，看起来是pack操作失败了，原因就是内存溢出了。尝试找组内同事看过，他们并不会出现跟我相同的错误提示，说明应该跟我最近的某些操作相关。 乍一看有点懵，gitpull也能出错，简单梳理了后，有几个疑问 1.是因为什么引发了这个溢出 2.pack操作到底是做什么 3.要怎么解决 搜索“Auto packing the reposit...
git:out of memory,malloc failed
duanlina的专栏
10-19 3783
repo sync时，出现这样的错误：out of memory,malloc failed 解决方法：在 repack时, 在 memory scale 使用比较小的 memory 这样就不会因为 small object 太多，很快耗尽所有 memory 。   $
【MindSpore报错解决地图】常见报错问题分类（持续更新）
BaldheadedM的博客
08-12 2210
MindSpore常见问题主要包括数据加载与处理问题、网络构建与训练问题以及分布式并行配置问题等。MindSpore在不同场景下，积累了大量常见的问题案例。以下是对应的案例列表。
MindSpore后端运行类
吴建明wujianming_110117
01-25 655
MindSpore后端运行类 Q：如何在训练过程中监控loss在最低的时候并保存训练参数？ A：可以自定义一个Callback。参考ModelCheckpoint的写法，此外再增加判断loss的逻辑： class EarlyStop(Callback): def init(self): self.loss = None def step_end(self, run_context): loss = ****(get current loss) if (self.loss == None or loss &
YOLOV7-tiny模型，从Pytorch移植到华为Atlas 200i DK A2平台的Ascend推理
最新发布
q274488181的博客
11-21 1666
笔者按：最近接了一个项目，要把别人训练的YOLOv7-tiny模型，移植到华为Atlas平台，利用Ascend昇腾NPU做推理，同时实现了python和c++的应用。由于笔者是第一次接触华为这个平台，移植过程中还是踩了不少坑的，这里开一篇文章，介绍整个移植的流程、踩过的坑和debug的思路。整个项目大约花费了我2周时间，这是在我有一定的python、c++和工程经验的基础上。另外当然生成式AI在这个过程中也帮我做了不少事情，不得不感慨科技的进步。
malloc分配内存失败会导致什么问题？new和malloc在申请空间时超出可申请的大小就会分配异常，可申请的大小是多少？
2302_80908313的博客
11-06 1922
malloc分配内存失败会导致什么问题？new和malloc在申请空间时超出可申请的大小就会分配异常，可申请的大小是多少？
mindspore训练一段时间后，报内存不够错误
weixin_45666880的博客
07-04 611
问题描述：tep几次后，报内存不足的问题，降低batch size训练次数增多，但还是内存不足，应该是我代码的问题。也根据相关帖子检查了，还是没有搞定，我上传了训练的部分日志（在附件log.txt中），麻烦大佬们帮忙看一下问题。解答：你好，训练过程中，可以打开另一个窗口 通过命令查看下，是否显卡已经用满了，例如通过命令`nvidia-smi` 可以查看当前用了多少显存，如果已经用满了，建议参考上面的帖子，排查下为何用了这么多的显存， 并尝试参考里面的方法进行优化下：- 如何处理GPU训练显存不足[memor
从 malloc 分配大块内存失败 来简看 linux 内存管理
天行健，地势坤
10-29 3065
从 malloc 分配大块内存失败的可能原因 来看 linux overcommit机制 以及 oom 实现原理
MindSpore Ascend 内存管理
Kenji_Shinji的博客
09-15 1411
在调试网络的时候，我们经常会遇到报错，下面基于MindSpore r1.5分支代码介绍下MindSpore在Ascend设备上对内存的管理。Ascend在对内存分为静态内存和动态内存，它们分别指：MindSpore对Ascend设备内存分成4层进行管理： Runtime直接对板载的32GB内存进行管理如果用户在网络脚本中使用了Context配置MindSpore后端使用的内存大小， MindSpore则按照用户设置大小去向下一层Runtime申请，如果用户没有设置，则默认申请30GB内存，预留2GB内存给系
Ascend310服务器 使用mindspore出错
weixin_45666880的博客
06-22 618
问题描述：mindspore/ccsrc/plugin/device/ascend/hal/device/ascend_memory_adapter.cc:52【操作步骤&问题现象】1、安装好环境后尝试使用mindspore2、运行后显示无法获取设备HBM memory【截图信息】 解答：310环境不支持python api算子的直接调用，以上代码适用于昇腾910、GPU或者CPU测试，不支持310环境；且310环境是用于模型推理部署的，可使用C++ API加载已导出的mindir文件进行推理，不能用于训
【MindSpore1.5.0】利用MindSpore1.5.0构建STN模型时出现cudaMalloc failed错误
weixin_45666880的博客
07-01 445
问题描述：【功能模块】[mindspore/ccsrc/runtime/device/gpu/cuda_driver.cc:40] AllocDeviceMem][mindspore/ccsrc/runtime/device/gpu/gpu_memory_allocator.cc:89] AllocDeviceMem]【开发环境】nvidia-docker容器里运行 nvidia/cuda:10.1-cudnn7-devel-ubuntu18.04镜像，宿主机操作系统是 ubuntu16.04，显卡是TIT
【MindSpore】Ascend310基于MindSpore Serving部署resnet推理服务
sinat_38685910的博客
08-02 415
基于MindSpore Serving部署推理服务 官方链接：https://www.mindspore.cn/tutorial/inference/zh-CN/master/serving_example.html 1.安装mindspore serving 下载：https://www.mindspore.cn/versions https://ms-release.obs.cn-north-4.myhuaweicloud.com/1.1.1/Serving/ascend/ubuntu_x86/mind
malloc分配的内存访问失败问题
xinqingwuji的博客
12-04 2395
问题描述： 在vs中编写c语言代码。再main函数中调用malloc的程序正常运行。放在另外一个.c文件里总是报访问失败。 char * test = (char *)malloc(10); memset(test,0,10); 非常基础的一句话。 运行memset，访问内存的时候总是异常。 问题分析： 当查看内存的时候，调试器的反应是 为啥会造成读取出错呢？ 查看...
新型动态内存管理工具：Malloc.c和Malloc.h源码介绍
3. 在多线程环境下使用`malloc`时应该小心，因为多个线程可能会同时尝试分配内存，导致竞态条件。可以使用互斥锁来避免这种情况。 4. 应避免对`malloc`返回的指针进行算术操作，因为这样做可能会导致内存访问错误。 ...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值