记录一次tensorflow cuda out of memory

Nvidia driver + CUDA + cudnn + anaconda + tensorflow 版本匹配 -- 解决3D object detection模型out of memory问题 目录 Part I: 问题与原因 Part II: 参考配置 Part III: 当前版本查看 Part III: 版本匹配 3.1 Nvidia driver 选择 3.2Nvidia driver 与 CUDA匹配 3.3CUDA 与 cudnn 与 tensorflow-gpu版本匹配 Part IV: Anaconda引起的版本问题 4.1 anaconda中cudn... 阅读详情

背景:训练的时候cuda 报错out of memory

解决:排查原因。基本out of memory就是显存不够了,batchsize 太大的原因。将batchsize改小了以后确实问题也解决了。

但是让我疑问的是之前我跑程序的时候还没有任何问题。突然就out of memory.

注:tensorflow 默认run的时候将显存全占。设置config就解决。

config = tf.ConfigProto()
config.gpu_options.allow_growth = True
session = tf.Session(config=config)

 

3060+window10+cuda11.2+cudnn8.1+conda+tensorflow2.4环境配置简记 3060+window10+cuda11.2+cudnn8.1+conda+tensorflow2.4环境配置简记 本人正在学习深度学习中的目标检测,自己流血购入了一张3060显卡。 下载了各种本版的cuda,cudnn,python,tensorflow后终于搞定了配置。 30系列的显卡只能使用cuda11,在使用9,10版本一直莫名的不能使用gpu跑(即使安装的就是gpu版本)。python版本可以使用3.5~3.7。但是tensorflow就只能使用2.0及以上的,我安装了tensorflow2.0、 阅读详情

相关推荐

Tensorflow手记

这里写自定义目录标题tensorflow的安装使用仅支持 CPU 的映像的示例GPU 支持遇到的问题显存不足报错1 tensorflow的安装 安装tensorflow docker版本很简单,按官网的指南安装GPU支持的docker版本只需要三步 在本地主机上安装 Docker。 要在 Linux 上启用 GPU 支持,请安装 nvidia-docker。 启动 TensorFlow Dock...

梦中随笔 9629

Keras/TensorFlow 报错:CUDA_ERROR_OUT_OF_MEMORY 解决办法

Keras/TensorFlow 报错如下: failed to alloc 2097152 bytes on host: CUDA_ERROR_OUT_OF_MEMORY could not allocate pinned host memory of size:xxxxx 解决办法: TensorFlow 默认贪婪的占用全部显存,所以有时候显存不够用,添加如下代码,让显存按需分配 ...

buziran的专栏 1369

MATLAB演示元胞自动机算法

一、元胞自动机理论 元胞自动机与格子理论是一个非常好的模型,许多复杂的问题都可以通过它来建立模型,下面就简要介绍一下。 元胞自动机 实质上是定义在一个具有离散、有限状态的元胞组成的元胞空间上,并按照一定的局部规则,在离散的时间维度上演化的动力学系统。 元胞 元胞又可称为单元、细胞,是元胞自动机的最基本的组成部分。 元胞具有以下特点: 元胞自动机最基本的单元。 元胞有记忆贮存状态的功...

frange zone 2万+

使用gpu版的tensorflow时出现OOM错误(显存溢出错误): CUDA out of memory的解决办法。

gpu版的tensorflow 在执行过程中会默认使用全部的 GPU 内存,给系统保留 200 M,但是在我的系统上会在分配内存时被拒绝导致报错,因此我们可以使用如下语句指定 GPU 内存的分配空间: 下面以我自己的电脑为例,进行相关设置。因为我的电脑的显存是6G,所以我可以设置tensorflow程序运行时所占用的显存不能超过6G,这里限制在4G大小。 import tensorflow as tf #限制消耗固定大小的显存(程序不会超出限定的显存大小,若超出的报错)。 physical_gpus = t

m0_56192771的博客 5639

手把手教你用certificate-manager修复Vcenter证书过期问题(附密码重置技巧)

本文详细解析了Vcenter证书过期引发的503服务不可用、密码错误等典型故障现象,并提供了使用certificate-manager工具进行系统性修复的完整步骤。文章重点阐述了证书体系原理、精准诊断方法,并分享了在SSO验证失败时通过vdcadmintool重置密码的关键技巧,帮助管理员快速恢复平台并建立预防性运维策略。

swift5iosmith的博客 461

深入解析路科验证V0实验lab1:SV接口与时钟块实战

本文深入解析了路科验证V0实验Lab1的核心内容,重点阐述了SystemVerilog接口与时钟块在验证环境搭建中的关键作用。通过拆解router_io接口设计、时钟块同步机制及程序块封装,详细讲解了如何构建稳定可靠的验证通信基础,并提供了复位时序分析与常见调试技巧,为后续复杂验证打下坚实基础。

peach的博客 432

解决:显存充足 但却出现Internal: out of memory

1、在以下环境运行tf或keras可能汇报下面的错误: 环境: Ubuntu CUDA10.1 tensorflow1.14 / keras 2.2.4 错误(查看显存充足的情况下): on-OK-status: CudaLaunchKernel(FillPhiloxRandomKernelLaunch, num_blocks, block_size, 0, d.stream(), gen, data, size, dist) status: Internal: out of memory 2、

qq_40156289的博客 2669

KV Cache 详解:新手也能理解的 LLM 推理加速技巧

(Autoregressive)生成的,即每次生成一个 token,然后将其作为输入继续生成下一个 token。:如果序列太长,超过了 KV Cache 的存储限制,就需要丢弃最早的 tokens(类似滑动窗口)。时,每次只会生成一个新 token,然后再把这个 token 作为输入继续生成下一个 token。,只缓存计算过的 K,VK, V,每次只计算新 token 的 K,VK, V,从而提升推理效率。:如果输入的 prompt 发生变化,之前的 KV Cache 不能复用,必须重新计算。

Harry的博客 7383

TensorFlow2.0 CUDA_ERROR_OUT_OF_MEMORY out of memory 解决办法

今天头一次使用TensorFlow2.0的GPU版本进行训练,训练中遇到【CUDA_ERROR_OUT_OF_MEMORY out of memory】,于是百度各种解决办法,基本能查到的都是TensorFlow1.0的用法,但此方法在TensorFlow2.0中不适用。于是经过多方查找,终于找到设置方法,在此进行记录,一是方便日后回看,二是弥补百度中各种查不到。 TensorFlow1.0用法 from keras import backend as K config = tf.ConfigProto

OUTMAN80的博客 3259

基石篇:多模态数据工程导论与核心概念

多模态数据工程不是写Python脚本处理几张图片,而是设计并构建一套系统,来规模化地生产高质量、可追溯、符合合规要求的模型就绪数据。本文将为你建立正确的数据工程思维框架,明确其在多模态AI生态中的战略地位,并为后续的深入学习奠定坚实基础。

jiaquan3011的博客 629

9、眼底图像智能分析:糖尿病视网膜病变的自动化识别与分级系统

本博客介绍了一种基于深度学习的糖尿病视网膜病变(DR)自动化识别与分级系统。该系统通过视网膜图像的预处理、数据增强、集成模型的构建与优化,实现了对DR的高效识别与分级。识别系统采用二分类任务,准确率达到97.67%,而分级系统通过四分类策略取得了95.2%的准确率。系统在基层社区和医院中具有广泛的应用前景,为DR的早期筛查和精准诊断提供了有效工具。

pea55的博客 146

mnist训练显存不足报错:Ran out of memory trying to allocate 957.03MiB. See logs for memory state. W tensorfl

参考:https://stackoverflow.com/questions/39076388/tensorflow-deep-mnist-resource-exhausted-oom-when-allocating-tensor-with-shape训练mnist数据集,测试的时候报错,显存不足解决办法:(1)将print("test accuracy %g"%accuracy.eval(fee...

orangefly0214的博客 1万+

必知必会:DeepSeek-R1训练流程详解

必知必会:DeepSeek-R1训练流程详解

丨汀、的博客 290

tensorflow问题排查

今天执行个很小的文本训练,一上来就报了个错。 看了下好像是内存分配的问题。 2018-03-04 19:51:05.588759: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1120] Creating TensorFlow device (/device:GPU:0) -> (device: 0, name: GeForce GTX

dataastron的博客 3643

读懂 SAP S/4HANA 里的 SAP Fiori 架构:前端服务器、搜索链路、传统应用接入与内容组织全景解析

摘要:SAP Fiori架构并非简单的系统连接图,而是明确区分界面层与业务数据层的三层分工体系:用户交互层(浏览器与Fiori launchpad)、前端技术层(SAPUI5运行环境)和业务数据层(SAP S/4HANA后端)。这种分离实现了生命周期解耦,前端专注于统一体验治理,后端处理核心业务逻辑。值得注意的是,SAP Fiori front-end server本质仍是ABAP系统,负责UI技术组件运行。虽然SAP S/4HANA推荐嵌入式部署,但独立部署在多系统场景中仍有价值。典型Fiori应用通过O

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 180

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

pytorch遇见RuntimeError: CUDA out of memory的解决

最近在用pytorch做项目时,本人遇到RuntimeError: CUDA out of memory的错误,下面就此问题做一个记录和分享,并谈谈今后遇到爆显存问题的解决思路。 目录 1.查看是否其他程序占用显存 2.查看pytorch和cuda是否匹配 3.cuda.empty_cache()方法 3.当前项目代码是否还使用了keras/tensorflow 4.调小batch_size和通过程序优化显存 1.查看是否其他程序占用显存 遇到此类错误后,对于py格式的文件来说,程序会进行终

引爆激情 3998

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

RuntimeError: CUDA out of memory. 错误日志

运行代码时出现的错误如下: RuntimeError: CUDA out of memory. Tried to allocate 2.00 MiB (GPU 0; 4.00 GiB total capacity; 2.91 GiB already allocated; 166.40 KiB free; 2.93 GiB reserved in total by PyTorch) 看了一下自己...

A_Tu_daddy的博客 1388

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

记录error:训练时出现RuntimeError: CUDA out of memory.及解决方法

具体错误如下: RuntimeError: CUDA out of memory. Tried to allocate 12.00 MiB (GPU 0; 15.78 GiB total capacity; 1.25…)(没复制全,尴尬) 且batch_size怎么改小都不行 经百度可能是GPU内存没有释放 我关闭终端重新打开后,问题就解决了,如果不行可以参考: 释放GPU内存的方法 或者百度释放...

qq_45486787的博客 1万+

TF报错:CUDA_ERROE_OUT_OF_MEMORY

I tensorflow/core/common_runtime/gpu/gpu_device.cc:975] Creating TensorFlow device (/gpu:0) -> (device: 0, name: GeForce GTX 860M, pci bus id: 0000:01:00.0) E tensorflow/stream_executor/cuda/cuda_dnn.c

行走的IT 4746

RuntimeError: CUDA runtime implicit initialization on GPU:0 failed. Status: out of memory

昨天安装完tensorflow之后,没有问题,也跑了代码训练模型。今天突然就不行了,电脑没关过机。 使用tf报了以下错误 RuntimeError: CUDA runtime implicit initialization on GPU:0 failed. Status: out of memory import tensorflow as tf print(tf.__version__) print(tf.test.is_built_with_cuda()) print(tf.test.is_gpu_a

ayiya_Oese的博客 1万+

Hugging Face Transformers 故障排查实战指南:离线环境、CUDA 显存不足与 AutoModel 加载错误

本文以 Transformers 仓库中阿拉伯语版排障文档 [troubleshooting.md](https://link.gitcode.com/i/493c5b9d86f9666537c1c1fee4346ad0) 为主体,系统梳理在库最常见问题——防火墙/离线环境下的连接错误、CUDA 显存溢出(OOM)、TensorFlow 模型保存与加载失败、`ImportError`、CUDA 设

gitblog_00006的博客 973

墨尘的琐碎知识点记录--9: CUDA_ERROR_OUT_OF_MEMORY

报错信息: 1.代码头部添加: import os os.environ["CUDA_VISIBLE_DEVICES"] = "1" 2.限制当前脚本可用显存 gpu_options = tf.GPUOptions(per_process_gpu_memory_fraction=0.333) sess = tf.Session(config=tf.ConfigProto(gpu_option...

我是尘客哥 220

win10安装tensorflow-gpu却用CPU运行的解决方法

win10安装tensorflow-gpu却用CPU运行的解决方法前言一、出现问题?二、可能的原因和解决方案1.版本不一致2.cuda和cudnn没有安装好总结 前言 提示:这里可以添加本文要记录的大概内容: 例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文就介绍了机器学习的基础内容。 提示:以下是本篇文章正文内容,下面案例可供参考 一、出现问题? 安装好cuda和cudnn后(再默认路径下),安装Anaconda并创建好tensorflow-gpu的虚拟环境

cheng_xu_yuan_yy的博客 6636

Non-OK-status: CudaLaunchKernel(FillPhiloxRandomKernelLaunch<Distribution>, num_blocks, block_size,

记录一个错误 2020-12-07 21:43:46.522997: I tensorflow/compiler/xla/service/service.cc:175] StreamExecutor device (0): Tesla V100-SXM2-32GB, Compute Capability 7.0 2020-12-07 21:43:46.575889: E tensorflow/stream_executor/cuda/cuda_driver.cc:828] failed to alloc

weixin_45728409的博客 3949

解决TensorFlow程序无限制占用GPU

今天遇到一个奇怪的现象,使用tensorflow-gpu的时候,出现内存超额~~如果我训练什么大型数据也就算了,关键我就写了一个y=W*x.......显示如下图所示: 程序如下: import tensorflow as tf w = tf.Variable([[1.0,2.0]]) b = tf.Variable([[2.],[3.]]) y = tf.multiply(w,b) i...

weixin_33734785的博客 707
上一篇: apache2 如何禁止目录列举
下一篇: Expected object of scalar type Long but got scalar type Float
coding_zhang
博客等级 码龄10年 9粉丝 39原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值