训练深度学习后c盘储存空间变小

最新推荐文章于 2025-01-08 17:02:21 发布
原创 最新推荐文章于 2025-01-08 17:02:21 发布 · 6.1k 阅读 · 9 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python

博客主要围绕清除Python缓存展开，聚焦于信息技术中Python使用时缓存清理这一关键操作，能帮助解决Python运行中可能因缓存产生的问题。
部署运行你感兴趣的模型镜像

 清除python的缓存。

您可能感兴趣的与本文相关的镜像

Python3.9

Python3.9

Conda
Python

Python 是一种高级、解释型、通用的编程语言，以其简洁易读的语法而闻名，适用于广泛的应用，包括Web开发、数据分析、人工智能和自动化脚本

PyTorch深度学习实战（45）——强化学习
盼小辉丶的博客
07-10 7319
强化学习是当前人工智能领域的研究热点问题，强化学习主要通过考察智能体与环境的相互作用，得到策略模型、优化策略并最大化累积回报的过程。强化学习具有巨大的研究价值和应用潜力，是实现通用人工智能的关键技术。本文首先介绍强化学习的基本原理，包括马尔可夫决策过程、价值函数、探索-利用问题等，然后介绍经典的强化学习算法，最后使用 PyTorch 实现在游戏中模拟强化学习算法。
YOLOX训练C盘爆满解决方案
weixin_45679938的博客
03-03 1万+
0. 问题描述：COCO数据集训练到一半突然中断，看C盘显示红色，已经没多少内存了（训练时，生成在AppData/Temp中的临时文件太多） 如图所示：随着epoch的增加，文件越来越大（图中还是yolox-tiny），如果采用yolox-x，C盘不大的一下爆了！！ 1. 问题原因： YOLOX-main/yolox/evaluators/coco_evaluator.py中203行左右**tempfile.mkstemp()**创建文件后，没有进行close()和remove()操作 如下图： 2.
jupyter训练模型后C盘内存减少的问题
qq_47215080的博客
07-09 2354
跟着沐神的视频进行了jupyter模型训练。但是模型训练完毕后，发现C盘的存储容量减少了，这是因为代码运行的内存没有释放。点击这里即可完成内存释放。
SSD源码测试---出现的问题----运行pycharm项目每次c盘内存变小！！！
zzzzzzxy95的博客
03-18 5033
问题： 我运行了几次深度学习的项目后，发现我的c盘，越来越小。 原因： 原因是我把数据集放在了项目目录下，每次运行的时候好像都会indic一下，具体原因说实话我也不懂，但是我找到解决方法了！！！参考别人的例子，和实验室人的讲解！！ 解决方法： 将数据集放在项目外面，但是生成的tfrecord文件还是放在项目里面！！！ 生成tfrecord 修改datasets/pascalvoc_t...
关于运行完python程序后c盘空间快速减少的解决方案之一(更新之我的C盘又炸了)
Johnson9903的博客
04-08 1万+
则也是和我一样针对缓存文件而使用的，但本人未能使用上述方法成功解决该问题，通过排查，发现对于 cache这个单词应有敏感，对于磁盘空间在运行程序后越来越满这类问题，一般都与缓存脱不开关系，而cache这个词便是缓存的意思，在计算机中，缓存一般是在c盘用户文件appdata中，也就是像“C:\Users\用户名”这样的路径（这里用户名是电脑开机时输密码界面的那个用户名）。由此，我们又学会一项解决问题的思路，对于莫名减少的空间，一般与缓存有关，可以通过文件大小排查（效率低），也可以通过找与缓存有关的文件夹。
深度学习笔记（解决跑模型中缓存问题）
m0_55795760的博客
01-14 1735
在跑模型过程中，pycharm突然报了个警报显示c盘容量不足，一看只有几百兆。研究后发现是缓存未清理的问题。解决方案：在每轮epoch结束后，使用。来清理缓存，以及用del删除变量。
C盘空间莫名丢失20G？
热门推荐
qq_36160224的博客
04-26 2万+
如图选中C盘所有文件后（包含隐藏文件），显示只有62.1G，但是查看C盘属性时，发现少了接近20G那么这接近20G去哪里了呢？打开C盘 查看-选项-查看-隐藏受保护的操作系统文件（推荐）-去掉勾选在此查看文件，可以发现，这次多出了几个大的系统保护文件，这时候查看C盘内所有文件的属性，发现那20G就对上了...
C盘越来越小解决办法
04-18
#### 导致C盘空间变小的原因： 1. **回收站占用：** - 回收站默认的最大值为所在磁盘总容量的10%。 - 如果用户经常删除文件而不清空回收站，将会占用大量空间。 2. **系统还原功能：** - 当系统还原功能被启用...
深度清理Windows C盘垃圾文件的实战方案
master_chenchen的博客
01-08 1515
还有大型应用程序的日志文件，这些记录了软件操作过程中的信息，对于开发者来说非常有用，但对于普通用户而言，却是不必要的负担。其中，“存储感知”是一个非常实用的功能，它可以自动检测并清理不需要的文件，帮助维持硬盘空间的充足。通过这些简单易行的方法，你可以有效地保护C盘免受不必要的负担，让电脑始终保持最佳状态，就像精心照料一座花园，使其四季常青。你可以把这里当作自己的家，无论是工作之余的小憩，还是寻找灵感的驿站，我都希望你能在这里找到属于你的那份快乐和满足。那么，今天的分享就到这里了，希望你们喜欢。
最新最全深度学习训练/GPU服务器硬件配置推荐2020
Su_wenfeng的博客
04-08 1万+
人工智能随着核心算法、计算能力的迅速提升，以及海量联网数据的支持，在本世纪终于迎来了质的飞跃，人工智能将是未来应用最广泛的技术之一，在市场经济领域带来更多的机遇与机会，在医学领域可以大大加快诊断速度和准确性，在军事领域人工智能武器将成为未来武器的王牌……（一）了解深度学习算法 深度学习两个主要过程：训练（Training）和推理（Inference）。其中：训练（Training）是将大量数据加载...
深度学习在图像处理领域的最新进展，以及如何利用并行计算资源加速训练过程 Deep Learning and Efficient Parallel Computing Methods
AI天才研究院
08-03 1884
深度学习（Deep learning）是一个基于神经网络的机器学习方法。它是一种高度抽象、高度自动化的技术，可以应用于计算机视觉、自然语言处理、语音识别、生物信息等领域。与其他机器学习方法相比，深度学习通过多个隐层的神经网络结构对复杂数据进行非线性建模，并且能够高效地处理高维、非结构化数据的特征表示。深度学习在图像、文本、语音、视频等领域表现出了卓越的性能，尤其是解决图像分类、目标检测、语义分割等任务上。在图像处理的场景中，深度学习算法也逐渐成为主流的方法。
深度学习tensorflow运行完成之后C盘爆满，一招解决
weixin_43038752的博客
02-14 7144
  无论是哪一个深度学习平台，过大的训练数据都可能导致错误运行之后C盘爆满？解决方法是使用360或者联想等电脑的电脑管家对缓存进行清理：   问题顺利解决！
在tensorflow下深度学习训练C盘空间暴涨的问题
qq_43690060的博客
09-15 6005
对于和我一样的小白，关于计算机不太了解，就会出现奇葩的问题。 我在运行老师给的关于Unet的代码，在数据集较小的情况下，可以运行出来。有一次，数据集增大了好几倍，代码运行就出现了一个错误，经过百度后，了解是什么内存不够的问题，我突然发现C盘直接暴涨9个G。之后在网上搜索了许久，发现大家都是将代码中的节点信息什么的，也没讲数据存储在哪里了。 最后，灵光一闪打开电脑管家，**清理垃圾**，发现都在缓存里。。。。。我之前以为电脑关机之后会自动释放缓存，我是真的垃圾。 ...
Computer：C盘简介&成功解决当Win10系统进行深度学习的时候发现系统C盘满了，教你如何正确卸载一些非必要的内容(提高磁盘内存和网速)
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
04-18 1万+
​ Computer：C盘简介&成功解决当Win10系统进行深度学习的时候发现系统C盘满了，教你如何正确卸载一些非必要的内容(提高磁盘内存和网速) 目录 C盘简介 成功解决当Win10系统进行深度学习的时候发现系统C盘满了，教你如何正确卸载一些非必要的内容(提高磁盘内存和网速) C盘简介 1、进入磁盘管理器 输入：diskmgmt.msc 发现C盘，包括系统,启动,页面文件,活动,故障转储,主分区等内容 2、查询C盘内容 ├WINDOWS │ ├-system3
Pytorch训练过程中C盘缓存不断增加的问题
日拱一卒，功不唐捐
01-22 1万+
Pytorch训练过程中C盘缓存不断增加的问题 之前在训练的过程中，C盘内存会随着训练的轮次越来越少，特别影响训练效果，今天参考大佬的博客终于把问题解决了，记录一下 划重点：训练完后清空内存 del inputs, target, outputs, loss torch.cuda.empty_cache() 案例： def train(epoch): running_loss = 0.0 for batch_idx, data in enumerate(train_loader, 0): inp
跑深度学习时c盘内存暴涨问题
wlkkkkkkkkkkkkkk的博客
08-11 6856
略略略
yolov5s训练时突然C盘爆满，显示OSError: [WinError 1455] 页面文件太小，无法完成操作。
BaoShihao1206的博客
04-13 2159
会不会是代码的问题，因为我出现问题之前修改了网络结构，运行时直接闪退了。在打开发现就成这样了。我之前训练的时候没有出现过这种情况，16G内存是完全够用的。但我发现训练时内存并没占满，而C盘空间只剩100多mb，以提交内存达到50G左右，（什么鬼？workers为8，之前都是可以正常训练的。今天突然变成这样了。之后发现是内存爆了，用了虚拟内存。（之前从未出现这种情况）后来我扩大虚拟内存改为D盘，就可以正常训练了。训练结束后又恢复正常 了，C盘变回来了。但是这种情况非常不正常。
使用gpu跑程序c盘变小了
最新发布
03-25
### GPU运行程序可能导致C盘空间减少的原因分析 GPU运行程序本身并不会直接占用C盘的空间，但如果某些软件或驱动程序在安装过程中默认写入C盘，则可能会间接导致C盘空间减少。以下是可能的原因及其解决方案： #### 1. **NVIDIA驱动程序的安装** NVIDIA驱动程序通常会在C盘上创建多个文件夹和日志文件。这些文件包括但不限于`Program Files\NVIDIA Corporation`、`Windows\System32\DriverStore`以及临时文件夹中的缓存数据[^2]。 ##### 解决方案： - 卸载不必要的NVIDIA组件：通过控制面板卸载多余的NVIDIA应用程序（如NVIDIA GeForce Experience或其他游戏相关功能）。仅保留必要的驱动程序。 - 清理驱动存储：定期清理`%TEMP%`目录下的NVIDIA临时文件，或者手动删除不再使用的旧版驱动备份。 #### 2. **CUDA Toolkit的安装路径** CUDA Toolkit默认会安装到C盘上的`Program Files/NVIDIA CUDA`目录下。如果频繁更换CUDA版本而不及时清理旧版本，也会逐渐消耗C盘空间。 ##### 解决方案： - 更改安装路径：在安装CUDA Toolkit时指定非C盘的目标位置。 - 删除无用版本：当升级CUDA时，可以安全移除之前的版本及相关依赖库。 #### 3. **PyTorch及其他框架的数据缓存** 使用PyTorch等深度学习框架时，默认情况下模型权重和其他资源会被下载并保存至用户的AppData文件夹中，该文件夹一般位于C:\Users\[用户名]\AppData。 ##### 解决方案： - 修改环境变量TORCH_HOME指向另一个磁盘分区作为模型缓存的位置。 ```bash export TORCH_HOME=/mnt/d/torch_cache # Linux/MacOS example set TORCH_HOME=D:\torch_cache # Windows CMD example ``` #### 4. **Jenkins/GitLab CI自动构建过程产生的中间产物** 如果开发环境中集成了持续集成工具（例如Jenkins或GitLab CI），它们可能会将编译后的二进制文件、测试报告以及其他大型工件存储于C盘内的工作区里[^5]。 ##### 解决方案： 调整项目配置文件以改变输出目标地址；比如对于Jenkins可通过设置job参数定义workspace location远离系统盘。 --- ### 总结建议 为了有效缓解因GPU相关活动引发的C盘容量压力问题，可以从上述几个方面入手优化资源配置策略，并养成良好的维护习惯定期整理计算机内部结构冗余项。 ```python import shutil, os shutil.rmtree(r'C:\path_to_large_folder') # Example command to remove large unnecessary folders. ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值