DefaultCPUAllocator: not enough memory: you tried to allocate 94633984 bytes. Buy new RAM!

最新推荐文章于 2024-12-12 14:28:52 发布
最新推荐文章于 2024-12-12 14:28:52 发布
阅读量1.7w 收藏 14
点赞数 6
分类专栏： python错误解决 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/canpian7/article/details/115419162
版权
在复现Tianxiaomo的Pytorch-YOLOv4项目时遇到CPU内存不足的问题。为了解决这个问题，可以考虑将训练过程转移到GPU环境或者调整训练参数，如减小epoch数量和batch_size（建议使用2的倍数）。这些调整有助于降低内存需求，确保训练的顺利进行。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

问题描述

在复现Tianxiaomo/pytorch-YOLOv4的时候出现如下错误
在这里插入图片描述
问题就是cpu内存不够

解决方案
  1. 换用gpu做训练
  2. 减小epoch的值，
  3. 减小batch_size（2的倍数）的值
解决RuntimeError: 默认CPU内存分配器不足的问题
PixelProX的博客
08-23 3031
在实际应用中，我们应该根据具体情况选择适合的方法，并且注意代码和模型的优化，以提高计算资源的利用效率。其中一个常见的问题是在运行TensorFlow或PyTorch等深度学习框架时遇到的"RuntimeError: DefaultCPUAllocator: not enough memory"错误。如果你的批量大小设置得太大，会消耗较多的内存。通过在代码中设置较小的批量大小，可以减少内存的使用量，从而避免"DefaultCPUAllocator: not enough memory"错误。
第39课：BlockManager解密进阶：BlockManager初始化和注册解密、BlockManagerMaster工作解密、BlockTransferService解密、本地数据读写解密、远程
段智华的博客
06-07 1356
第39课：BlockManager解密进阶：BlockManager初始化和注册解密、BlockManagerMaster工作解密、BlockTransferService解密、本地数据读写解密、远程数据读写解密BlockManager既可运行在Driver上，也可以运行在Executor上。在Driver上的BlockManager管理集群中Executor的所有的BlockManager，Bl
训练过程中出现not enough memory:you tried to allocate
热门推荐
w1290027的博客
07-24 5万+
我在训练yolo v3的模型时，出现了下图的错误。这应该是内存不够的问题！ RuntimeError: [enforce fail at …\c10\core\CPUAllocator.cpp:72] data. DefauCPUAllocator:not enough memory:you tried to allocate 88604672 bytes.Buy new RAM! 我是在家里自己电脑上运行的，用cpu训练本来就慢，训练了一天，内存溢出就给崩了，我的心态也崩了！ 稳住！不慌！网上没有找到解决
RuntimeError: DefaultCPUAllocator: not enough memory: you tried to allocate 1105920 bytes.
qq_44936246的博客
08-17 1万+
RuntimeError: [enforce fail at ..\c10\core\CPUAllocator.cpp:76] data. DefaultCPUAllocator: not enough memory: you tried to allocate 1105920 bytes.
DefaultCPUAllocator: not enough memory: you tried to allocate
目标检测、LLM相关
12-02 2万+
解决方案（1）：重启电脑/使用任务管理器关闭多余应用释放系统内存（临时方案）解决方案（2）：增加电脑虚拟内存（建议选该方案）
电脑内存明明还有很多，程序却显示内存不足，报错DefaultCPUAllocator: not enough memory:you tried to allocate 58982400 bytes.
地理信息系统、摄影测量与遥感、人工智能
04-07 1万+
任务管理器内存充足，但程序就是报内存不够（即任务管理器可用内存 > 程序所需内存，但是依然报错）
RuntimeError: DefaultCPUAllocator: not enough memory: you tried to allocate 55032000 bytes. 内存不够如何解决
qq_52806062的博客
10-07 1755
提供了一个非常方便的DataLoader，可以帮助我们快速地加载和处理数据。然而，有时候我们会遇到一个问题：使用PyTorch的DataLoader加载数据时，内存不足。这可能是由于数据集太大，或者内存分配不够导致的。在使用PyTorch的DataLoader加载数据时，数据是预先加载到内存中的。如果数据集太大，或者每个batch的数据太多，就可能会导致内存不足。此外，如果您的模型或优化器需要大量的内存，也可能导致内存不足。中，数据加载和处理是至关重要的步骤。
Pycharm 超出内存报错RuntimeError: DefaultCPUAllocator: not enough memory
weixin_43429393的博客
09-16 2万+
RuntimeError: [enforce fail at ..\c10\core\CPUAllocator.cpp:75] data. DefaultCPUAllocator: not enough memory: you tried to allocate 311500800 bytes. Buy new RAM! 跑一些比较大的模型的时候，Pycharm经常会报这样的错误，我们可以设置一下Pycharm默认的最大内存： 在Pycharm按下快捷键：Ctrl+Shift+A 然后输入：VM opt
ltc 报错编号部分
最新发布
windows_6的博客
12-12 1351
corrupted.corrupted.error.error.execution.""-m2).effectfeatures.""
一些安装AUTOMATIC1111的Stable Diffusion WebUI常遇到的错误消息的解决方式
weixin_44006864的博客
11-18 2496
一些安装AUTOMATIC1111的Stable Diffusion WebUI常遇到的错误消息的解决方式
【小白深度教程 1.11】手把手教你使用 PSMNet 估计视差和计算深度，并映射到 3D 点云（含 Python 代码）
2401_87064292的博客
09-06 1485
单目深度估计存在固有的尺度模糊问题。因此这次我们尝试使用 PSMNet 视察估计技术，来进行准确的双目深度估计，并将场景转换成 3D 点云，Python 代码在最后。
swap内存不足解决方案 Torch: not enough memory: you tried to allocate 0GB. Buy new RAM!
Rui012345的博客
11-14 1万+
运行lua程序时报错： 此问题是由于内存不足引起的，可采用分配虚拟内存的方式进行解决。 解决方案： 1.首先用命令free查看系统内 Swap 分区大小 free -m 可以看到swap只有1021M，下面我们来扩大到2G。 2.创建swap文件 mkdir ~/swap cd ~/swap sudo dd if=/dev/zero of=swapfile bs=10...
【规避内存不足问题】DefaultCPUAllocator: not enough memory: you tried to allocate 8000000 bytes. Buy new RAM
weixin_43509698的博客
02-21 4万+
【错误描述】 pytorch训练深度模型，往往报内存不足，但是本人自己的电脑很low，经常将dataloader中多线程num_workers置为0和将batch_size减小。但是在一次训练中将batch_size设置成1还是报错，最后采用修改源代码中统计字节参数，完美规避了内存不足的报错。 builtins.RuntimeError: [enforce fail at ..\c10\core\CPUAllocator.cpp:73] data. DefaultCPUAllocator: not enou
RuntimeError: [enforce fail at ..\c10\core\CPUAllocator.cpp:72] data. DefaultCPUAllocator: not enoug
qq_35037684的博客
09-25 2万+
运行程序报错： RuntimeError: [enforce fail at ..\c10\core\CPUAllocator.cpp:72] data. DefaultCPUAllocator: not enough memory: you tried to allocate 19267584 bytes. Buy new RAM! 出现这个问题是因为显存不够，我把开的pycharm工程都关掉就可以运行了。。 ...
Torch: not enough memory: you tried to allocate 0GB. Buy new RAM! 解决办法
cchangcs
04-07 1万+
该问题是由于内存不足引起的，可采用分配虚拟内存的方式进行解决。 虚拟内存分配方法： 1.首先用命令free查看系统内 Swap 分区大小: 　　　　free -m 　　2.创建一个 Swap 文件: 　　　　mkdir ~/swap 　　　　cd ~/swap 　　　　创建2Gswap分区：sudo dd if=/dev/zero of=swapfile bs=10...
【错误解决】RuntimeError: [enforce fail at ..\c10\core\CPUAllocator.cpp:72] data. DefaultCPUAllocator: not
学习带来的快乐最持久~
08-10 4万+
内存不足
成功解决RuntimeError: [enforce fail at C:\actions-runner\_work\pytorch\pytorch\builder\windows\pytorch\c
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
06-02 1万+
成功解决RuntimeError: [enforce fail at C:\actions-runner\_work\pytorch\pytorch\builder\windows\pytorch\c10\core\impl\alloc_cpu.cpp:72] data. DefaultCPUAllocator: not enough memory: you tried to allocate 180355072 bytes. 目录 解决问题 解决思路 解决方法 T1、减少内存需求 T2
GMCF错误报告
Alin的博客
05-15 1570
最近在搞毕设推荐系统，找到了GMCF的源码，第一次尝试用pytorch进行深度学习相关的研究，记录一下过程中遇到的问题。（先主要按现在的进度记录，之前的一些问题，看之后有没有时间好了）
data. DefaultCPUAllocator: not enough memory: you tried to allocate 983040000 bytes.
05-04
这个错误提示意味着你的程序尝试分配超过系统可用内存的空间。这可能是因为你的程序需要处理的数据太大，或者因为你的系统内存不足。你可以尝试以下解决方法： 1. 优化你的程序，减少内存使用：你可以重新设计你的算法，使用更少的内存。例如，你可以尝试使用更小的数据类型、减少不必要的内存分配等。 2. 增加系统内存：如果你的系统内存不足，你可以尝试增加内存。这可以通过添加更多的内存条来实现，或者使用云服务器等可以提供更多内存的服务。 3. 使用分布式计算：如果你的数据集太大，无法在单个计算机上处理，你可以尝试使用分布式计算。这可以通过使用多台计算机来完成，每台计算机处理数据集的不同部分，最终将结果合并在一起。 4. 使用数据流处理：如果你的数据集太大，无法一次性读入内存，你可以尝试使用数据流处理。这意味着你只在需要时读取数据，而不是一次性将整个数据集读入内存。这可以通过使用 Python 中的生成器或 TensorFlow 中的数据集 API 等实现。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值