【问题解决】深度学习显存不够怎么办？——虚拟内存来帮忙numpy.core._exceptions._ArrayMemoryError: Unable to allocate 454. MiB for

最新推荐文章于 2025-04-22 10:21:11 发布
最新推荐文章于 2025-04-22 10:21:11 发布
阅读量406 收藏 3
点赞数 4
CC 4.0 BY-SA版权
分类专栏： 百题千解计划(项目 实战 案例） 工具、技巧、解决办法 文章标签： 深度学习 人工智能 GPU 虚拟内存 MemoryError 显存 PyCharm
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_44731019/article/details/136989428

目录

一、问题记录

在PyCharm中跑一个深度学习项目的时候，我们使用自己的主机，有时会遇到这样的情况：numpy.core._exceptions._ArrayMemoryError: Unable to allocate 454. MiB for an array with shape (23974, 12, 207) and data type float64

在这里插入图片描述
简单来讲，是因为本机的显存/内存分配的不够——带不动程序啊！！

ε=(´ο｀*)))唉！2018年的电脑，看来已经带不动这种大型实验了。

二、尝试解决：分配虚拟内存

第一步，首先在我们电脑的左下角 输入“高级系统设置” 或者 按Windows建 弹出的界面直接输入 “高级系统设置”：

在这里插入图片描述

第二步，分别点击下图所示的高级和设置，注意是第一个设置哈：<

了解本专栏 订阅专栏 解锁全文
numpy.core._exceptions.MemoryError: Unable to allocate 1.45 GiB for an array with shape (13935, 1393
weixin_46713695的博客
04-13 7040
numpy.core._exceptions.MemoryError: Unable to allocate 1.45 GiB for an array with shape (13935, 1393
numpy.core._exceptions.MemoryError: Unable to allocate 27.0 GiB for an array with shape (38064, 3806
weixin_46713695的博客
11-07 2571
numpy.core._exceptions.MemoryError: Unable to allocate 27.0 GiB for an array with shape (38064, 3806
解决：numpy.core._exceptions._ArrayMemoryError: Unable to allocate 1.40 GiB for an array with shape (16
WWW95623741的博客
06-13 1415
电脑内存不足，系统内存使用过高。
解决显存不足问题的方案
qq_63074434的博客
06-26 2197
在深度学习训练过程中，显存不足是一个常见的问题。以下是解决显存不足问题的一些常见方法，特别适用于使用PyTorch进行训练时。本文将提供逐步指导，帮助您找到合适的批次大小，并避免显存不足问题。
解决显存不足问题：深度学习中的 Batch Size 调整【模型训练】
qq_22841387的博客
07-21 5160
Batch Size 是指在一次训练迭代（iteration）中传递给神经网络进行前向传播和后向传播的数据样本数量。整个数据集通常不会一次性传递给模型，而是分成多个较小的批次，每个批次逐步传递给模型进行训练。
【DeepSeek部署常见问题：显存与性能优化】显存不足（CUDA OOM）问题及解决方案
专注于人工智能、软件开发、工控自动化、工厂数字化及智能化等领域，希望和大家共同进步！
04-22 1305
摘要：本文聚焦于DeepSeek部署过程中出现的显存不足（CUDA OOM）问题。详细阐述了该问题的现象、产生原因，并提供了三种有效的解决方案，包括量化加载、动态优化以及硬件升级。同时给出了完整的实操流程和代码示例，旨在帮助开发者顺利解决DeepSeek部署中显存不足的问题，提升模型的性能和稳定性。
深度学习训练报错numpy.core._exceptions._ArrayMemoryError: Unable to allocate 多少多少 MiB
BUG_always_AC的博客
10-23 9014
4.取消勾选“自动管理所有驱动器的分页文件大小”，选择一个盘（如G盘），设置初始大小与最大值（如20G）1.windows键搜索高级系统设置。2.选择“高级”，“设置”3.选择“高级”，“更改”原因：显存、内存不足。解决：分配虚拟内存。
numpy.core._exceptions._ArrayMemoryError: Unable to allocate 23.1 MiB for an array with shape (2, 15
liuhongyue的博客
05-29 2768
记得不要选中 自动管理所有驱动器的分页文件大小，然后选择一个驱动器，也就是一个盘，选中自定义大小，手动输入初始大小和最大值，但是不要太大。在运行代码的过程中发现，内存其实只用到了一半不到，但是为什么会出现 Memory 的错误呢？都设置好之后，记得点击 设置， 然后再确定，否则无效，最后 重启电脑 就可以了。进过百度发现说是内存被限制了，所以考虑采用扩大虚拟内存的方法。选择 高级面板，点击更改 虚拟内存 模块；修改 pycharm 的运行内存 6，点击 高级系统设置 这一项；点击 系统 这一项；
surprise numpy.core._exceptions._ArrayMemoryError: Unable to allocate 864. GiB for an array with
小白tree的博客
02-02 9503
在使用surprise对google数据集进行基于用户的推荐算法（KNNBaseline）训练时，内存超限报错如下 numpy.core._exceptions._ArrayMemoryError: Unable to allocate 864. GiB for an array with shape (340553, 340553) and data type float64 原因也很简单： 数据集中一共有书籍340553本，如果计算共现矩阵，则会在numpy创建340553 X 340553大小的矩阵
Python | NumPy | numpy.core._exceptions.MemoryError: Unable to allocate 1.04 MiB for an array
MissMango0820的博客
02-03 6913
本文简要概括出现类似于报错信息的原因及解决方法
numpy.core._exceptions.MemoryError: Unable to allocate 2.80 GiB for an array with shape (3001133055,) and data type bool
03-20
当遇到 `numpy.core._exceptions._ArrayMemoryError` 错误时，通常是因为尝试分配的内存超出了系统的可用资源。对于大数组操作，尤其是涉及布尔类型的场景，可以考虑以下几种优化策略： #### 1. 使用更高效的存储...
服务器跑模型numpy.core._exceptions.MemoryError: Unable to allocate 6.97 GiB for an array with shape (28560, 128, 128, 4) and data type float32
03-15
好的，我现在需要解决用户提到的服务器在运行模型时遇到numpy的MemoryError问题，具体错误是6.97 GiB分配失败，数组形状是(28560, 128, 128, 4)，数据类型是float32。首先，我得分析可能的原因和解决方案。 首先，...
D:\anaconda\envs\torch\python.exe D:\anaconda\conda-meta\多尺度注意力减法网络（MASNet）\UWF-RHS-Dataset-and-MASNet-main\net\train.py #----------Creating logger----------# #----------GPU init----------# #----------Preparing dataset----------# D:\anaconda\conda-meta\多尺度注意力减法网络（MASNet）\UWF-RHS-Dataset-and-MASNet-main\net\engine.py:22: FutureWarning: `torch.cuda.amp.GradScaler(args...)` is deprecated. Please use `torch.amp.GradScaler('cuda', args...)` instead. scaler = amp.GradScaler(enabled=use_fp16) D:\anaconda\envs\torch\Lib\site-packages\torch\amp\grad_scaler.py:132: UserWarning: torch.cuda.amp.GradScaler is enabled, but CUDA is not available. Disabling. warnings.warn( Traceback (most recent call last): File "D:\anaconda\conda-meta\多尺度注意力减法网络（MASNet）\UWF-RHS-Dataset-and-MASNet-main\net\train.py", line 160, in <module> main(config) File "D:\anaconda\conda-meta\多尺度注意力减法网络（MASNet）\UWF-RHS-Dataset-and-MASNet-main\net\train.py", line 67, in main test_dataset = isic_loader(path_Data = config.data_path, train = False, Test = True) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "D:\anaconda\conda-meta\多尺度注意力减法网络（MASNet）\UWF-RHS-Dataset-and-MASNet-main\net\loader.py", line 48, in __init__ self.data = self.data.astype(np.float32) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^ numpy._core._exceptions._ArrayMemoryError: Unable to allocate 4.34 GiB for an array with shape (388, 1000, 1000, 3) and data type float32
最新发布
07-29
当训练深度学习模型时，如果遇到类似 `MemoryError: Unable to allocate 4.34 GiB for an array with shape (388, 1000, 1000, 3) and data type float32` 的错误，这表明程序试图分配的内存超出了系统可用内存的...
【音频分离】demucs V3的环境搭建及训练（window）
菜鸟博客
08-01 5210
在window上运行demucs模型的训练
numpy.core._exceptions.MemoryError: Unable to allocate 167. MiB for an array with shape (2970, 2460,
weixin_43497738的博客
09-06 1万+
估计是batchsize太大，最后一千多张图片出不来
numpy.core._exceptions.MemoryError: Unable to allocate 288. GiB for an array with shape
Dxy1239310216的博客
04-25 1582
在深度学习中，通常使用数据生成器（data generators）来按需加载数据，而不是一次性加载所有数据到内存中。：如果你有访问更大内存机器（比如具有更多 RAM 的服务器或具有足够显存的 GPU）的权限，你可以在那里运行你的代码。来创建一个内存映射文件，这样数据就可以像普通数组一样被访问，但实际上只有访问到的部分会被加载到内存中。错误表明你的计算机没有足够的内存来分配一个特定大小的数组。：如果可能的话，尝试减少模型的复杂度或减小训练时的批量大小，这样每次迭代时需要的内存就会减少。
解决numpy.core._exceptions.MemoryError: Unable to allocate 1.04 MiB for an array
热门推荐
与君共勉，一起学习
06-06 7万+
报错 numpy.core._exceptions.MemoryError: Unable to allocate 1.04 MiB for an array with shape (370, 370) and data type float64 原因 最主要的还是电脑内存不足，因为需要处理的数据量太大，GPU性能不够，存在内存溢出现象 但实际上它保存的不是模型文件，而是参数文件文件。在模型文件中，存储完整的模型，而在状态文件中，仅存储参数。因此，collections.OrderedDict只是模型的值
深度学习训练模型时，GPU显存不够怎么办？
小白学视觉
03-21 1565
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达作者丨游客26024@知乎（已授权）来源丨https://www.zhihu.com/question/461811359/answer/2492822726编辑丨极市平台极市导读此篇博文以AlexNet为网络架构(其需要输入的图像大小为227x227x3)，CIFAR10为数据集，Adamw为梯度下降函数，学习率机制为Red...
numpy.core._exceptions.MemoryError: Unable to allocate 865. MiB for an array with shape (10600, 1069
qq_42894251的博客
10-01 9748
内存溢出问题numpy.core._exceptions.MemoryError: Unable to allocate 865. MiB for an array with shape (10600, 10697) and data type float64 问题分析： 报错里面说， 问题在futures_base.py，因此怀疑问题在多线程中，因为多线程会导致结果堆叠，因此导致numpy报错。 问题解决： 在多线程函数中，限制最大线程不超过2 问题解决啦！ ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

追光者♂

谢谢你呀！一起加油！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值