昇腾多卡910B服务器mindie推理报错显存不足npu out of memory，已解决

已于 2025-08-02 14:38:40 修改
阅读量357 收藏
点赞数 3
CC 4.0 BY-SA版权
文章标签： 服务器 运维
于 2025-06-25 11:15:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_38773993/article/details/148894816

1.报错场景
使用多张910B卡推理大模型时报错显存不足，8张卡远远足够用，说明不是因为模型参数太大导致的。NPU out of memory. Tried to allocate 88.00 MiB (NPU 1; 29.50 GiB total capacity; 28.30 GiB already allocated; 28.30 GiB current active; 29.59 MiB free; 29.50 GiB allowed; 28.88 GiB reserved in total by PyTorch)
2.解决方法
（1）关闭多余进程
npu-smi info，先看下有没有其它进程在用显卡，如果有的话，kill -9 掉对应的进程；
（2）修改显存配置
编辑mindie配置文件，/usr/local/Ascend/mindie/latest/mindie-service/conf/config.json。里面ModelConfig中有个参数npuMemSize，默认值是-1（代表无限制），把它改小点，比如8。
在这里插入图片描述
在这里插入图片描述

福小白
关注
基于华为昇腾910B和LLaMA Factory多卡微调的实战教程
herosunly的博客
08-23 17万+
本文主要介绍了基于华为昇腾910B和LLaMA Factory多卡微调的实战教程，希望对使用大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 2.3 模型选型与下载 2.4 配置多卡环境 3. 运行代码 3.1 构建训练数据 3.2 修改配置文件 3.3 继续预训练(CPT) 3.4 SFT
有源蜂鸣器通电后不响，连接stlink之后才会响是为什么
**My Coding Family**
05-19 712
🏆 本文收录于《全栈Bug调优(实战版)》专栏，致力于分享我在项目实战过程中遇到的各类Bug及其原因，并提供切实有效的解决方案。无论你是初学者还是经验丰富的开发者，本文将为你指引出一条更高效的Bug修复之路，助你早日登顶，迈向财富自由的梦想🚀！同时，欢迎大家关注、收藏、订阅本专栏，更多精彩内容正在持续更新中。让我们一起进步，Up！Up！Up！    备注： 部分问题/难题源自互联网，经过精心筛选和整理，结合数位十多年大厂实战经验资深大佬经验总结所得，数条可行方案供所需之人参考。
python运行提示显卡内存不足_Pytorch GPU显存充足却显示out of memory的解决方式
weixin_39890327的博客
12-08 1万+
Pytorch GPU显存充足却显示out of memory的解决方式今天在测试一个pytorch代码的时候显示显存不足，但是这个网络框架明明很简单，用CPU跑起来都没有问题，GPU却一直提示out of memory.在网上找了很多方法都行不通，最后我想也许是pytorch版本的问题，原来我的pytorch版本是0.4.1，于是我就把这个版本卸载，然后安装了pytorch1.1.0，程序就可以...
华为昇腾Ascend系列 之 02 如何查看GPU芯片监测数据（教程含源码Ascend 910、Ascend 910B）
iCloudEnd的博客
06-03 3478
如何查看GPU芯片监测数据？
Mindie在华为910B推理大模型
weixin_41549308的博客
08-05 1865
之前在华为昇腾服务器上推理了Qwen1.5-14b-chat模型，但是用Mindie RC1.0版本无法兼容openai接口，传递的文本字符数有限，不能超过16000.因此，选用了最新版本的Mindie RC2.0版本，成功推理。步骤和上述链接一致，但是下载镜像的时候用MindieRC2.0.目前利用Mindie启动了大模型服务，fastchat启动了embedding服务，然后再启动langchain-chatchat就成功运行，且推理速度和V100卡差不多。如果大家有部署问题，可以后台私信我~
昇腾910B+MindIE实现Qwen类模型推理之问题解决
m0_55308155的博客
02-03 1027
6、镜像：[MindIE]ascend_24.1.rc3-cann_8.0.rc3.beta1-py_3.10-ubuntu_20.04-aarch64-mindie_1.0.RC3。2、操作：升级transformers。此处指定了版本为：4.45.2，同步会升级tokenizers-0.20.3。
华为bug汇报：华为NPU竟成“遥遥领先”？
weixin_52292970的博客
10-22 4226
华为bug汇报：震惊，华为NPU竟成“遥遥领先”？
pytorch: 四种方法解决RuntimeError: CUDA out of memory. Tried to allocate ... MiB
热门推荐
xiyou__的博客
07-06 20万+
Bug：RuntimeError: CUDA out of memory. Tried to allocate … MiB 解决方法： 法一： 调小batch_size，设到4基本上能解决问题，如果还不行，该方法pass。 法二： 在报错处、代码关键节点（一个epoch跑完…）插入以下代码（目的是定时清内存）： import torch, gc gc.collect() torch.cuda.empty_cache() 法三（常用方法）： 在测试阶段和验证阶段前插入代码 with torch.no_gr
Out of memory, malloc failed(tried to allocate XXXXXXX bytes)
XIAO_11_DONG的博客
09-07 740
Out of memory, malloc failed(tried to allocate XXXXXXX bytes)问题解决
PyTorch报错RuntimeError: CUDA error: out of memory的显存优化
最新发布
shejizuopin的博客
05-28 958
本文系统介绍了PyTorch中常见CUDA显存不足问题的解决方案。文章首先分析了显存溢出的四大原因：批量过大、模型复杂、显存碎片化及数据类型不当。随后提出包含8种具体措施的优化矩阵，涵盖基础策略（批量调整、梯度累积）、模型优化（剪枝量化、轻量模型）、高级管理（混合精度、显存监控）和数据优化（DataLoader配置、输入尺寸调整）。每种方法均附代码示例和性能对比数据，如混合精度训练可节省50%显存并提升速度10-20%。最后提供验证流程和常见问题解答，建议优化路径为：先调批量/梯度累积，再考虑模型轻量化，最
llamafactory报错：双卡4090GPU，训练qwen2.5:7B、14B时报错GPU显存不足（out of memory），轻松搞定~~~
Ven%的博客
12-27 2770
使用llamafactory进行微调qwen2.5 7B和14B的大模型时，会出现out of memory的报错。尝试使用降低batch_size（原本是2，现在降到1）的方式，可以让qwen2.5:7B跑起来，但时不时会不稳定，还是会报这个错误；微调14B的话，直接就报错了，根本跑起来。（显卡配置为两张23G的4090显卡，显存一共46G）目测lora微调显存的大小是模型本身大小的3倍以上，才能正常跑起来。注: 若不知道这个配置的代表什么含义的话，可以看这一篇。
报错torch.OutOfMemoryError: CUDA out of memory...CUDA 内存溢出如何解决？
**My Coding Family**
05-24 899
🏆 本文收录于《全栈Bug调优(实战版)》专栏，致力于分享我在项目实战过程中遇到的各类Bug及其原因，并提供切实有效的解决方案。无论你是初学者还是经验丰富的开发者，本文将为你指引出一条更高效的Bug修复之路，助你早日登顶，迈向财富自由的梦想🚀！同时，欢迎大家关注、收藏、订阅本专栏，更多精彩内容正在持续更新中。让我们一起进步，Up！Up！Up！    备注： 部分问题/难题源自互联网，经过精心筛选和整理，结合数位十多年大厂实战经验资深大佬经验总结所得，数条可行方案供所需之人参考。
RuntimeError: CUDA out of memory. Tried to allocate 模型训练 GPU 显存不够报错总结
专注于AI领域前沿技术学习与分享：目标检测、图像修复、超分重建、AI工程化
04-12 1万+
RuntimeError: CUDA out of memory. Tried to allocate 1018.00 MiB (GPU 0; 7.79 GiB total capacity; 4.72 GiB already allocated; 853.50 MiB free; 1.52 GiB cached) 享受学术探讨的欢乐，传递温暖，希望能够帮助到刚刚入门的同学 文章目录具体报错简单分析训练时遇到测试时遇到
华为MindIE初体验：Qwen1.5-14B-Chat模型40并发推理实测
强化学习曾小健
08-03 4105
原创 XC272024年07月03日 22:14北京最近发现华为NPU的生态里多了一个成员——MindIE，部分解决了大模型推理的问题，下面简要介绍下Mind华为昇腾NPU卡的生态。
在BigCloud系统使用昇腾910bGPU与MindIE镜像部署DeepSeek模型指南
一起加油吧
04-09 1903
本文介绍如何基于华为BigCloud操作系统，利用昇腾（Ascend）GPU硬件加速能力，通过华为云MindIE（MindSpore Inference Engine）Docker镜像快速部署DeepSeek大语言模型。/usr/local/Ascend/mindie/2.0.T3/mindie-service/2.执行命令，启动服务。覆盖安装或升级请按照“固件->驱动”的顺序。在安装驱动固件前，需要安装前确认操作系统，并检查环境。若系统出现如下关键回显信息，则表示驱动安装成功。参考文档进行接口调用。
大模型国产化适配7-华为昇腾LLM落地可选解决方案（MindFormers、ModelLink、MindIE）
强化学习曾小健
04-18 3426
本文的所有信息都是截止2024年4月最新的一些信息，如有不准确的地方欢迎讨论。总的来说，昇腾最近一年多经过海量大模型需求的洗礼，正在快速变得成熟和完善。希望国产AI芯片、AI软硬件生态越来越好。
一图看透：910B、H20、A100、H100、H200性能对比！
qq_42068614的博客
03-04 1万+
一图看透：910B、H20、A100、H100、H200性能对比！
华为显卡信息：通过npu-smi info查看
斯人若彩虹，遇上方知有！
01-24 3232
熟悉华为显卡的信息
nvidia显存还够但报错CUDA out of memory
03-26
<think>嗯，用户遇到了CUDA显存不足的问题，需要解决。首先，我得回忆一下常见的CUDA内存错误的原因。根据引用里的信息，主要原因是模型或数据太大，超出了GPU显存容量。然后，我应该分步骤思考解决方案。 首先，用户可能需要检查显存使用情况。可以用nvidia-smi命令或者在代码里用torch.cuda工具。比如，用torch.cuda.memory_summary()来查看显存分配，这样能定位哪里占用了太多内存。 接下来，常见的原因之一是批量大小过大。这时候建议减小batch size，比如从64减到32或16。不过，减小batch size可能会影响训练效果，可能需要调整学习率或其他参数作为补偿。 然后是模型本身的问题。如果模型太大，可以考虑简化结构，比如减少层数或神经元数量。或者使用模型并行，把不同层放到不同的GPU上。另外，使用混合精度训练（torch.cuda.amp）也能节省显存，因为用FP16代替FP32，但需要注意梯度缩放以避免数值不稳定。 数据方面的处理也很重要。确保数据没有冗余或内存泄漏，比如循环中意外累积的张量。使用pin_memory=False可能也有帮助，不过得看具体情况。 梯度累积是另一个技巧。通过多次前向传播后再更新梯度，等效于更大的batch size，但显存占用更小。这需要调整优化步骤，比如accum_steps次前向后再执行optimizer.step()。 及时释放不用的变量，比如用del删除中间变量，并调用torch.cuda.empty_cache()。但这可能只是暂时的解决办法，因为PyTorch的缓存管理有时不会立即释放。 检查是否有冗余计算图保留。比如，在验证时用torch.no_grad()，避免保存不必要的计算图。非必要的情况下，不要保留requires_grad=True的张量。 使用内存分析工具，比如memory-profiler或者PyTorch的memory snapshot功能，可以帮助找到内存泄漏点。比如，可能某个模块在每次迭代时都创建新参数，导致显存逐渐增加。 最后，硬件层面的解决方案，比如换更大显存的GPU，或者用多卡训练，通过DataParallel或DistributedDataParallel来分布负载。如果这些都不可行，可能需要考虑模型蒸馏或参数共享等技术。 另外，用户提到的引用里提到重启kernel也是一种应急方法，尤其是在Jupyter环境中，但根本问题还是需要优化代码。综合这些点，应该能给出全面的解决方案。</think>### NVIDIA CUDA显存不足错误的原因及解决方案 #### 一、错误原因 1. **模型参数过大** 深度学习模型参数量超出GPU显存容量（例如ResNet-152需要约200MB显存，而Transformer大模型可能需要数十GB）[^3]。 2. **批量数据超限** 单批次数据（Batch）占用显存过高，例如输入图像分辨率过大或序列长度过长。 3. **内存泄漏或缓存未释放** 中间变量未及时清理（如循环中累积张量），或PyTorch缓存管理机制未主动回收显存[^2]。 4. **梯度计算冗余** 未使用`torch.no_grad()`导致验证/推理阶段仍保留计算图。 --- #### 二、核心解决方案 ##### 1. **显存监控与调试** - 查看显存实时占用： ```python import torch print(torch.cuda.memory_summary()) # 输出显存分配详情 ``` - 终端命令：`nvidia-smi -l 1`（每秒刷新GPU状态）。 ##### 2. **减小显存占用的关键技术 **方法** | **操作示例** ---------------------------------|---------------------------------- **降低批量大小** | `batch_size=64 → 32` **混合精度训练** | `with torch.cuda.amp.autocast():` **梯度累积** | 每`accum_steps=4`次前向后执行一次反向传播 **及时释放变量** | `del intermediate_tensor; torch.cuda.empty_cache()` ##### 3. 模型优化 - **模型剪枝**：移除冗余层或神经元。 - **检查点技术**：通过`torch.utils.checkpoint`在反向传播时重新计算部分中间结果，而非存储全部中间变量。 ```python from torch.utils.checkpoint import checkpoint def forward(x): x = checkpoint(self.layer1, x) # 分段存储 ``` ##### 4. 数据优化 - **数据加载器设置**： ```python dataloader = DataLoader(dataset, pin_memory=False) # 避免锁页内存 ``` - **输入预处理**：降低图像分辨率或截断文本序列长度。 --- #### 三、进阶方案 1. **多GPU并行** - **数据并行**：`model = nn.DataParallel(model)` - **模型并行**：将模型不同层分配到多个GPU（需手动设计）。 2. **显存分析工具** 使用`torch.cuda.memory_profiler`或`memory_profiler`库定位泄漏点。 ```python # 示例：混合精度训练+梯度累积 optimizer = torch.optim.Adam(model.parameters()) scaler = torch.cuda.amp.GradScaler() for epoch in range(epochs): for i, (inputs, labels) in enumerate(dataloader): with torch.cuda.amp.autocast(): outputs = model(inputs) loss = criterion(outputs, labels) scaler.scale(loss).backward() if (i+1) % 4 == 0: # 每4个批次更新一次 scaler.step(optimizer) scaler.update() optimizer.zero_grad() ``` ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值