NVIDIA backend.log文件一直变大的问题解决.

最新推荐文章于 2024-03-04 17:06:35 发布
最新推荐文章于 2024-03-04 17:06:35 发布
阅读量4.7k 收藏 1
点赞数 1
分类专栏： 知识杂谈 Windows 计算机应用 文章标签： nvidia backend log
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/jfsufeng/article/details/108472562
版权

0. 背景

今天突然发现自己的台式机C盘无故爆红了，磁盘空间只剩下几个G. 我个人习惯上不会专门往C盘里存东西，于是开始逐个check，找出大文件到底是哪个在作妖，最后发现了C盘用户目录下AppData/Local/NVIDIA/NvBackend/下面的backend.log文件达到了几十G。简单删除该文件，电脑重启还是会继续生成的。所以要从根本上禁止NVIDIA生成日志。

1. 解决

我这个NVIDIA驱动版本中对应的是一个NvBackend.dll的plugin（可能有些人的版本中是NvBackend.exe, 但最终的处理方法差别不大），该dll被NvContainer调用。

故解决手段就是找到对应的进程或者服务，停掉或者禁用掉即可。为了避免电脑重启后，进程又“死灰复燃”，继续生成本地日志backend.log，所以果断禁用之。Win+R, 输入services.msc, 打开服务，找到NVIDIA LocalSystem Container，禁用即可。

2. Conclusion and discussion

电脑用了好几年了，C盘空间基本一直稳定，确实不太清楚为何英伟达的NvBackend何时起突然“偷偷”不断地生成本地日志。更加深入的原因之后有空闲时间了再分析吧。

暂结~

人工智能_大模型007_CPU微调ChatGLM大模型_使用P-Tuning v2进行大模型微调_007_微调_002---人工智能工作笔记0142
添柴程序猿的专栏
02-23 528
这里的dev.json指的是,test_file测试数据,然后train_file也就是train.json指的是训练数据。我用的CPU所以没有添加NUM_GPUS,这个变量也是自己起名的,我用的默认的,官网提供的这个文件,然后修改的.这里注意我在/data/module建了两个文件夹,一个是train_output用来放训练后的输出模型的,现在还有langchain可以实现,扩展知识库,这个后面我们再说,我先用P-Tuning V2试试,这里我们先试着训练一下,我们用官方提供的训练数据进行训练.
【图像去噪】论文复现：Mamba没Out！MaIR的Pytorch源码复现，跑通全流程，轻松解决环境配置问题，图文结合，明确MaIR创新点，与MambaIR对比，示意图与源码对应，清晰易懂，注释详细！
最新发布
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
04-23 67
论文题目：MaIR: A Locality- and Continuity-Preserving Mamba for Image Restoration —— MaIR：用于图像恢复的局部性和连续性保持 Mamba【图像去噪】论文精读：MaIR: A Locality- and Continuity-Preserving Mamba for Image Restoration【图像去噪】论文复现：Man！
backend.log文件一直变大的问题
ROY的博客
04-25 1687
问题：更新NVIDIA显卡驱动后，NVIDIA container（32位）进程一直在后台写入磁盘，强行卸载后重启无效。 解决方法：找到NVIDIA container（32位）所在文件夹，强行卸载文件夹。 将显卡驱动卸载，重装选择自定义清洁安装。解决。 PS：cherry的MX6.0右上角cherry键位，可以开关关键操作例如Alt+Tab，win+R等。
win10 windows文件夹就占用40G
热门推荐
qq_31404055的博客
08-27 4万+
我很长一段时间C盘的可用空间一直只剩几个G，我可是什么软件都不会往c盘装的，今天我终于下决心去清理一下了。 Windows文件夹查看的话有40G，但是里面能看到的大小只有16G，其余的都是系统重要文件，其中你可以调用cmd运行powercfg -h off（https://jingyan.baidu.com/article/e6c8503c7169b7e54f1a18ec.html）wi
NvBackendexe NvBackend
08-17
NvBackend.exe
GPU监控（一）将nvidia-smi相关信息保存在log文件中
qq_42492684的博客
08-18 1658
要将nvidia-smi信息记录下来保存在log文件中，后续通过log文件中的内容生成显存使用量折线图，便于进行GPU用量监控。本文章记录需求实现第一部分：将nvidia-smi信息记录下来保存在log文件中。
解决NVIDIA软件或驱动安装包出错
RashadAlison的博客
06-27 2万+
解决NVIDIA软件或驱动安装包出错 当NVIDIA GeForce Experience软件或 NVIDIA 显卡驱动程序安装失败时，有时候并没有明确指出一般出错的原因，这些错误大多是在较差的电脑系统环境下导致。 如果软件安装失败，最好的第一步解决方式是重启电脑并且重新安装。 若依旧无效，尝试完整卸载之前的版本 (若有先前版本)，并重启电脑与重新安装。 若持续安装失败，你可以按照以下步骤重设系统环境。 步骤一: 确认 NVIDIA Windows services没有在运行。如何停止运行 NVIDIA W
英伟达nvidia-smi命令延伸使用，NVIDIA显卡日志文件在哪？
Learning by doing
01-19 2万+
首先要想一下，需要什么日志？安装日志？显卡本身运行日志？还是运行性能数据日志？显卡目前来看主要两个用途：图形显示（如Xorg，显示器） 和 计算（如矩阵运算，深度学习）。当然，本质都是计算。（一）安装日志其实这个不用操心，在安装完驱动之后的页面最下面就有显示，对应着路径去找就好啦。如果，很久之后还想看，可以去这里找/var/log/nvidia-installer.log /var/log/nvi
boost log的前端和后端
redeyerabbit的专栏
07-02 3082
Sink由两部分组成：前端(frontend)和后端(backend)。以boost：：log的教程为例： typedef boost::log::sinks::synchronous_sink text_sink; boost::shared_ptr sink = boost::make_shared(); 前端（例如
NVIDIA-CUDA HPC 编程模型与内存管理初探
tugouxp的专栏
11-12 3409
主存和现存在PCIE框架下可以做到互相访问，路径归纳如下：三种角色，两种存储，六种路径。1.HBM通过BAR透给了HOST，使HOST可以通过MMU给CPU访问，或者通过IOMMU给设备访问。2.相反，Host Memory并没有类似的BAR机制透给 PCIE设备端，PCIE设备端想要访问 HOST MEMORY必须经过 HOST IOMMU的映射一遍，加上PCIE端的SMMU映射，对于PCIE设备端（GPU）来说，要经过两层IOMMU翻译。所以从HOST端和GPU端看起来不太对称。
nvidia nx平台GStreamer pipeline异常问题调试记录2
bingdund的博客
03-22 2842
1.前言 承接上文 nvidia nx平台GStreamer pipeline异常问题调试记录1_bingdund的博客-优快云博客 2. 设置gst调试级别为3 这是我在崩溃发生前得到的唯一消息 0:00:07.098242672 14323 0x7fa0008690 WARN v4l2 gstv4l2object.c:4434:gst_v4l2_object_probe_caps:nvv4l2h265enc1: src Failed to probe pixel aspect ratio
记一次Windows下使用Nvidia GPU进行模型训练时遇到的问题CUPTI_ERROR_INSUFFICIENT_PRIVILEGES
CaT
12-06 3620
背景 今天在尝试自己动手搭建keras+tensorflow环境时遇到了(一堆堆*1024…)的奇奇怪怪问题，这里记录一下防止下次再有同样的麻烦，有hxd用到的话也刚好帮个忙。 先交代一下自己使用的环境 keras : keras-gpu-2.3.1 tensorflow: tf-gpu-2.1.0 python: python-3.6.12 Tensorboard使用陷阱 在使用kera和tensorflow进行模型训练时，如果调用到了tensorboard，那么在调用callbacks时会产生错误
nvidai 的禁用
y13156556538的博客
03-11 947
禁用 nvidai localsystem container  系统好像运行快了
Win10 NVIDIA Container占用CPU高的处理方法
披风秃头侠的博客
06-08 3万+
打开任务管理器，发现NVIDIA Container 占用CPU非常高（36.6%）。 2 Windows 10系统NVIDIA Container占用CPU高的处理方法 在任务管理器窗口中，先展开 NVIDIA Container，再右键点击：NVIDIA Display Container LS，在右键菜单中点击：打开服务； 3 在本地服务窗口中，找到并左键双击：NVIDIA Display Container LS 服务； 4 在...
C盘清理垃圾文件(2025更新)
普雷的博客
07-07 1万+
（大概几秒就能删光） C:\Windows\SoftwareDistribution\Download （显卡的安装包） C:\Program Files\NVIDIA Corporation\Installer2 C:\ProgramData\NVIDIA Corporation\Downloader 简便 xxx.cmd 如: echo 清空显卡更新安装包和windows更新文件 del /s /q /f "C:\Windows\SoftwareDistribution\Download" del /s
Django--24解决日志文件写入和执行celery默认清除任务backend_cleanup()报错问题
摘 月
07-27 848
在LOGGING中，用concurrent_log_handler.ConcurrentRotatingFileHandler代替logging.RotatingFileHandler。二、执行celery默认清除任务backend_cleanup()报gotanunexpectedkeywordargument'periodic_task_id’错误。解决方法约定只为以_periodic结尾的task函数传递periodic_task_id。......
Windows手动清理C盘
hello_world_banni的博客
07-25 2227
Windows手动清理C盘
Backend - 日志记录
是萝卜干呀的博客
03-04 571
知识量决定了未来能走多远
未发现数据源名称并且未指定默认驱动程序_看我如何发现NVIDIA GeForce Experience代码执行漏洞...
weixin_39521520的博客
12-03 599
0x01 前言大家好，我是来自Chengdu University of Technology的Siyuan Yi，本人是一名安全爱好者，平时喜欢搞搞逆向，玩玩CTF。不久前，我发现了我的第一个0day漏洞，此漏洞存在于NVIDIA GeForce Experience 3.20.1之前的版本，是由宽松的CORS策略和驱动程序下载链接的未验证以及Geforce Experience主程...
caffe.exe train --solver=.\examples\mnist\lenet_solver.prototxt
03-16
<think>好的，我现在需要帮助用户解决在运行Caffe训练模型时遇到的命令行参数或配置文件错误的问题。首先，我得回想一下Caffe的基本使用方法和常见问题。用户提到的是solver prototxt文件的错误或配置问题，这可能涉及到路径设置、参数配置、依赖库是否正确安装等。 首先，用户可能是在执行训练命令时遇到了错误，比如找不到solver文件，或者参数格式不正确。常见的命令是`caffe train --solver=path/to/solver.prototxt`，用户需要确认路径是否正确，以及文件是否存在。如果路径中有空格或特殊字符，可能需要使用引号包裹路径。 接下来是solver文件的配置问题。solver.prototxt中的参数是否正确，比如网络模型路径net是否正确指向train_val.prototxt或者其他的网络定义文件。还有基础学习率base_lr是否合理，动量momentum是否在0到1之间，迭代次数max_iter是否设置过高等。此外，solver_mode是否正确，比如是使用GPU还是CPU，这需要用户确认自己的环境是否支持对应的模式，比如CUDA和cuDNN是否正确安装。 然后要考虑GPU相关的问题。用户可能没有正确安装CUDA或cuDNN，或者没有在Makefile.config中启用GPU支持。如果用户试图使用GPU但编译时未开启，会导致运行错误。此外，GPU内存不足也可能导致问题，这时候需要减少batch_size或者更换更大显存的GPU。 数据路径是否正确也是一个常见问题。在train_val.prototxt中，数据层的source字段应该指向正确的训练和测试数据集路径，比如LMDB或HDF5文件。如果路径错误，Caffe会报错找不到数据。同时，数据预处理参数如scale、mean_file或mirror设置是否正确，这些参数需要与数据集相匹配。 依赖库的问题也不能忽视。Caffe依赖ProtoBuffer和GLog等库，如果这些库未正确安装或版本不兼容，会导致运行时错误。用户需要检查安装步骤，确保所有依赖库都正确安装，并且版本符合Caffe的要求。 调试方法方面，建议用户使用GLOG_minloglevel=0来开启详细日志输出，这样可以查看更详细的错误信息。此外，逐步简化网络结构，比如先去掉复杂层，只保留基本结构，测试是否能运行，有助于定位问题所在。如果怀疑是GPU问题，可以尝试切换到CPU模式，通过设置solver_mode为CPU来排除GPU相关的问题。 最后，常见错误示例中，比如文件路径错误、GPU内存不足、参数类型错误等，用户可以根据这些示例逐一检查自己的配置。例如，solver.prototxt中的net路径是否正确，或者是否使用了错误的参数类型如将字符串赋值给需要整数的参数。 总结下来，解决步骤应该是先检查命令是否正确，路径是否存在；然后检查solver和网络配置文件中的参数是否合理；接着确认GPU环境和依赖库是否正确；最后通过日志和简化网络来定位问题。同时，引用中提到Ubuntu14.04下CUDA 8.0和cuDNN的安装问题，可能用户的环境配置有问题，需要确保这些依赖项正确安装。</think>### Caffe训练命令与配置文件错误排查指南 当使用Caffe训练模型时，若遇到`solver.prototxt`文件相关错误或配置问题，可按照以下步骤排查： --- #### 一、命令行格式验证 1. **基础命令格式** 标准训练命令应包含`solver`参数： ```bash caffe train --solver=path/to/solver.prototxt ``` - **路径检查**：确认`solver.prototxt`路径正确（建议使用绝对路径） - **引号包裹**：若路径含空格或特殊字符，需添加引号： ```bash caffe train --solver="/path/with space/solver.prototxt" ``` --- #### 二、Solver配置文件分析 `solver.prototxt`中需验证以下关键参数： 1. **网络路径** 参数`net`应指向有效的网络定义文件（如`train_val.prototxt`）： ```protobuf net: "examples/mnist/lenet_train_test.prototxt" ``` - 检查文件是否存在及读写权限 2. **学习率与优化器** - `base_lr`（基础学习率）：典型值范围$10^{-4}$到$10^{-2}$ - `momentum`（动量）：需满足$0 < momentum < 1$（默认0.9） - `solver_type`：可选`SGD`/`Nesterov`/`Adam` 3. **设备模式** 检查`solver_mode`是否与硬件匹配： ```protobuf solver_mode: GPU # 需已安装CUDA且编译启用GPU支持 ``` --- #### 三、GPU相关配置检查 1. **CUDA/cuDNN安装验证** 运行`nvidia-smi`查看GPU状态，执行`nvcc --version`检查CUDA版本[^1] 2. **编译配置** 确认`Makefile.config`中已启用GPU： ```makefile USE_CUDNN := 1 CUDA_DIR := /usr/local/cuda-8.0 ``` 3. **内存不足处理** 若出现`Check failed: error == cudaSuccess (2 vs. 0) out of memory`： - 减小`batch_size` - 使用`caffe time`命令测算显存需求 --- #### 四、数据路径与预处理 在`train_val.prototxt`中检查数据层： ```protobuf layer { name: "data" type: "Data" top: "data" top: "label" include { phase: TRAIN } transform_param { mirror: true mean_file: "data/ilsvrc12/imagenet_mean.binaryproto" } data_param { source: "examples/mnist/mnist_train_lmdb" batch_size: 64 backend: LMDB } } ``` - 验证`source`路径是否正确 - 确认`mean_file`与数据匹配 - 检查`batch_size`是否超出显存容量 --- #### 五、依赖库问题排查 1. **ProtoBuffer版本** 运行`protoc --version`验证版本兼容性（Caffe需protobuf >= 2.6.1） 2. **GLog错误日志** 通过环境变量获取详细日志： ```bash GLOG_minloglevel=0 caffe train --solver=... 2>&1 | tee log.txt ``` --- #### 六、调试技巧 1. **最小化测试** 创建仅含输入层和全连接层的简化网络，逐步添加复杂模块 2. **CPU模式测试** 临时修改`solver.prototxt`： ```protobuf solver_mode: CPU ``` --- #### 常见错误示例 | 错误类型 | 典型表现 | 解决方案 | |---------|---------|---------| | 文件路径错误 | `Could not open file [...]` | 使用`ls -l`验证路径权限 | | GPU内存不足 | `out of memory` | 减小`batch_size`或简化网络 | | 参数类型错误 | `Expected bool, got 0.5` | 检查参数类型匹配性 | ---
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值