TensorFlow Allocation of 1511424000 exceeds 10% of system memory

最新推荐文章于 2023-01-04 22:23:03 发布
原创 最新推荐文章于 2023-01-04 22:23:03 发布 · 2.2w 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#tensorflow #神经网络 #内存

在使用TensorFlow神经网络新手教程进行2,3,1结构的一隐层神经网络模型训练时，遇到内存溢出问题。文章探讨了是否由于电脑配置（i5-4210U,4G内存）过低导致此问题，或是数据导入环节出现错误。
部署运行你感兴趣的模型镜像

在利用TensorFlow社区的神经网络新手教程的一个例程时，遇到了一个因为内存问题而导致电脑卡主没反应的问题，本次神经网络的模型为一隐层的神经网络模型（2,3,1结构），在训练过程中，出现了内存的问题。
print(‘test accuracy %.3f’%accuracy.eval(feed_dict={
x: mnist.test.images, y_label: mnist.test.labels, keep_prop: 1.0}))，报错Allocation of 31360000 exceeds 10% of system memory.这是因为电脑配置（i5-4210U,4G内存）过低的原因吗？还是因为导入数据是出问题了？

您可能感兴趣的与本文相关的镜像

TensorFlow-v2.15

TensorFlow-v2.15

TensorFlow

TensorFlow 是由Google Brain 团队开发的开源机器学习框架,广泛应用于深度学习研究和生产环境。 它提供了一个灵活的平台,用于构建和训练各种机器学习模型

报错：Allocation of ******* exceeds 10% of free system memory.
Iv_zzy的博客
06-20 1万+
存储空间不足，导致模型训练时报错
TensorFlow：Allocation of 256000000 exceeds 10% of system memory对auc的影响
凝眸伏笔的博客
06-06 1287
我在原来特征基础上，增加了一列特征，这列特征是一个list，长度不固定[0，5]之间的一个长度，比如 样本 1： ['找工作', '发工资', '领导力']代码中给该列特征先做了一个分桶，根据该列特征中词的个数，来确定桶的大小；我这里大约2k个不同的词，hash_bucket_size=2e3；然后做tf.feature_column.embedding_column(feat, 8)；这个8怎么确定？2000开两次根号，等于6.7，向上取整得到 7，因为这样不会造成词重叠，但是会造成一些参数浪费；至于效果
机器无内存，启动报错Cannot allocate memory
CarloPan的博客
04-01 2174
Apr 01, 2020 3:59:59 PM org.apache.catalina.startup.HostConfig deployDirectory INFO: Deployment of web application directory /data/ has finished in 59 ms Apr 01, 2020 3:59:59 PM org.apache.catalin...
Allocation of 179437568 exceeds 10% of free system memory.
风吹落叶的博客
12-22 3700
Allocation of 179437568 exceeds 10% of free system memory. 遇到这个报错是因为电脑性能限制导致。 一、解决方法： 1、把placeholder位置放在卷积之前， 2、还有就是把batchsize改小 3、把测试集改为批次放入预测 ...
Allocation of XXXXXXXX exceeds 10% of system memory
weixin_45052904的博客
04-17 5490
在实验室服务器上跑代码遇到了“Allocation of XXXXXXXX exceeds 10% of system memory”的问题，一个博客中写的是： 这个问题的原因主要是两种：一种是你的硬盘容量太小，没有办法保存训练好的模型；还有一种原因就是你的硬盘中没有你代码中保存训练模型的文件夹路径。 所以我改了模型的大小，但是仍旧存在问题，甚至发现当前模型比之前一个可以运行的模型（基于同一数据集）参数量更少但还是报这个错误。我对比了一下，发现如果使用tensorflow.keras包就不会报错，如果直
tensorflow验证模型准确率出现Allocation of 1003520000 exceeds 10% of system memory
thequitesunshine007的博客
05-23 8072
原本是一下子直接放入mnist.test.images, y_: mnist.test.labels，占用内存过大，导致提示'Allocation of 1003520000 exceeds 10% of system memory.' # 训练结束后报告在测试集上的准确度 print("test accuracy %g" % accuracy.eval(feed_dict={ x: mnist.test.images, y_: mnist.test.labels, keep_prob: 1.0}))
tensorflow学习（5）之CNN
juliarjuliar的博客
05-10 825
莫凡2017tensorflow（使用更简便版）https://github.com/MorvanZhou/Tensorflow-Tutorial CNN卷积神经网络（Convolutional Neural Networks） https://morvanzhou.github.io/tutorials/machine-learning/tensorflow/5-03-A-CNN/ 在前面...
tensorflow之内存暴涨问题
06-17 2万+
在用tensorflow实现一些模型的时候，有时候我们在运行程序的时候，会发现程序占用的内存在不断增长。最后内存溢出，程序被kill掉了。 这个问题，其实有两个可能性。一个是比较常见，同时也是很难发现的。这个问题的解决，需要我们知道tensorflow在构图的时候，是没有所谓的临时变量的，只要有operator。那么tensorflow就会在构建的图中增加这个operator所代表的节点。所以，...
Tensorflow: Allocation of XXXXXX exceeds 10% of system memory 可能的原因
冰糖的小屋
12-05 7327
意思是方法分配的空间的大小超过了系统内存的10%
提示 " Allocation of XXXXXXXX exceeds 10% of system memory."怎么办？
热门推荐
qq_44943092的博客
05-13 2万+
提示 " Allocation of XXXXXXXX exceeds 10% of system memory."怎么办？ 问题原因 这个问题的原因主要是两种：一种是你的硬盘容量太小，没有办法保存训练好的模型；还有一种原因就是你的硬盘中没有你代码中保存训练模型的文件夹路径。 解决办法：第一种，清理硬盘空间 第二种：在硬盘中创造文件夹 mkdir ...
jvm内存管理
哪有什么天生王者，不过是一步一个脚印
01-04 958
jvm内存管理
[TensorFlow] 错误之tensorflow/core/framework/cpu_allocator_impl.cc:81] Allocation of 150994944 exceeds
豆芽菜
08-31 9960
在tensorflow2.0使用cpu的时候出现警告信息 tensorflow/core/framework/cpu_allocator_impl.cc:81] Allocation of 150994944 exceeds 此时会发现gpu能被占用少量显存但无法使用，导致使用cpu运行（速度慢） 建议降低batch_size等，或释放些内存增加可用内存。 参考：https://github.com/tensorflow/tensorflow/issues/18736 未完待续…… ...
win10系统安装Tensorflow2.1-CPU版本
Karen_Yu_的博客
04-08 840
参考：https://blog.youkuaiyun.com/loft_/article/details/105550596 换回自己的笔记本得重新配置环境了，研究了一个星期，决定先看一下CPU的情况（毕竟GPU云服务器太贵了，先用CPU学一下，反正效果差不多……吧） ---------------- 插一句题外话 听说谷歌云服务器可以薅羊毛，薅羊毛爱好者正在思考 好像需要visa卡？不知道MasterCard能不能用？ ---------------- 没有显卡，上淘宝溜了一圈，告辞！ Anacond
深度学习-卷积神经网络-实例及代码2（初级）—利用Tensorflow和mnist数据集训练简单的深度网络模型实现手写数字识别
firemonkeycs的专栏
09-13 1254
系列文章： 深度学习-卷积神经网络-实例及代码0.8—基于最小均方误差的线性判别函数参数拟合训练 深度学习-卷积神经网络-实例及代码0.9—MNIST数据集介绍、下载及基本操作 深度学习-卷积神经网络-实例及代码1（入门）—利用Tensorflow和mnist数据集训练单层前馈神经网络/感知机实现手写数字识别 1、基础知识准备 （1）深度学习-卷积神经网络的基本原理 卷积层：卷积操作的目的是提取输入的不同特征，第一层卷积层可能只能提取一些低级的特征如边缘、线条和角等层级，更多层的网路能从低.
GraphSage记录
路边的石头
03-17 283
Epoch 000 batch 0 train accuracy: 0.06727706640958786 val accuracy: 0.06562499701976776 test accuracy: 2021-03-18 01:08:50.872527: W tensorflow/core/framework/cpu_allocator_impl.cc:81] Allocation of 702547200 exceeds 10% of free system memory. train ac...
关于TensorFlow 中使用sess导致内存不足
weixin_42707527的博客
03-16 726
想要将tf.tensor转换为numpy格式，网上介绍的无非就是两种方法，一种是直接xxx.numpy()，结果报错，按照网上说的修改方法也不行；另一种方法就是使用session，然后xxxxx.eval(session=sess)，结果会导致内存直接爆炸，16g的内存装满，显示的warning为 2021-03-16 00:22:36.412770: W tensorflow/core/framework/cpu_allocator_impl.cc:80] Allocation of 4759040000
python分配大内存_python – Tensorflow分配内存：38535168的分配超过系统内存的10％...
weixin_34795681的博客
01-29 702
使用ResNet50预训练的权重我正在尝试构建一个分类器.代码库完全在Keras高级Tensorflow API中实现.完整的代码发布在下面的 GitHub链接中.源代码：Classification Using RestNet50 Architecture预训练模型的文件大小为94.7mb.我加载了预先训练好的文件new_model = Sequential()new_model.add(Res...
python模型训练 控制内存_Tensorflow模型使用整个内存和OOMs系统
weixin_39848347的博客
12-24 453
当运行一个为对象检测训练的模型时，调用时内存不足tf.运行()2018-06-26 18:32:16.914049: W tensorflow/core/common_runtime/bfc_allocator.cc:219] Allocator (GPU_0_bfc) ran out of memory trying to allocate 2.55GiB. The caller indicat...
the memory allocation and deallocation function of shall not be used
最新发布
08-29
The references do not directly mention memory allocation and deallocation functions that should not be used. However, in general programming practices, some functions may be considered less favorable in certain scenarios. For example, in C++, while `malloc` and `free` from the C standard library can be used for memory allocation and deallocation, they are generally not recommended when working with C++ classes and objects. `malloc` only allocates raw memory and does not call the constructor of the object, and `free` only deallocates the memory without calling the destructor. In contrast, `new` and `delete` (or `new[]` and `delete[]`) in C++ are designed to handle object construction and destruction properly. Using `malloc` and `free` for C++ objects can lead to issues such as uninitialized objects and memory leaks due to non - called destructors [^1][^3]. Another aspect is that using `new` and `delete` inappropriately can also cause problems. For instance, if you allocate an array with `new[]`, you must use `delete[]` to deallocate it. Using `delete` instead of `delete[]` when dealing with an array allocated by `new[]` can result in undefined behavior, typically memory leaks and potential crashes [^3]. ```cpp #include <iostream> class MyClass { public: MyClass() { std::cout << "Constructor called" << std::endl; } ~MyClass() { std::cout << "Destructor called" << std::endl; } }; int main() { // Bad practice: using malloc for a C++ object MyClass* obj = (MyClass*)malloc(sizeof(MyClass)); // Constructor is not called here free(obj); // Destructor is not called here // Correct way in C++ MyClass* obj2 = new MyClass(); delete obj2; // Bad practice: incorrect deallocation of array MyClass* arr = new MyClass[5]; delete arr; // Should be delete[] arr; return 0; } ```
评论 12
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值