Ubuntu 训练深度学习模型的时候突然重启问题

最新推荐文章于 2025-01-27 14:51:07 发布
最新推荐文章于 2025-01-27 14:51:07 发布
阅读量3.6k 收藏 8
点赞数
分类专栏： 系统与工具 文章标签： pytorch ubuntu
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/redredxcar/article/details/105807703
版权
使用Ubuntu 18.04和GTX 2080进行Pytorch深度学习训练时遇到电脑无预警重启的问题。尝试限制GPU功率并未彻底解决问题。在相关论坛中发现，禁用Turbo Boost和调整batch_size可能是有效解决方案。禁用Turbo Boost后，目前未出现重启现象。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Ubuntu 18.04， GTX 2080 显卡， Pytorch 训练深度学习模型， 会在运行一会儿(有时1分钟，有时10几分钟，不确定）后突然自动重启。 

没有任何提示，没有任何日志。 

nvidia-settings ， psensor查看GPU， CPU温度都不是很高。

网上也没有找到很多相似的案例。 有的是玩游戏的时候重启，建议是换更大的电源。

这几个URL中的讨论时相关的。 

system auto reboot when tensorflow model is too large - Stack Overflow

https://github.com/tensorflow/tensorflow/issues/8858

不看可能会翻车，显卡瞬时功耗及电源重启之谜 – FCPOWERUP极电魔方

尝试了一下其中的一

最低0.47元/天 解锁文章
【Ubuntu】深度学习模型训练到一半卡死的解决方法
码农研究僧的博客
03-24 2540
【Ubuntu】深度学习模型训练到一半卡死的解决方法
【AI模型】Ubuntu深度学习环境安装配置
DevFrank的博客
12-07 2561
ubuntu深度学习环境安装配置
训练深度学习模型时电脑自动重启
怡宝2号
05-26 1万+
文章目录问题可能原因解决方案 问题 前面用自己的台式机利用GPU训练模型的时候，电脑老是自动重启，当时试了各种方法，找了各种原因。 电脑配置 电脑买的是二手的，（强烈建议买新的，大牌的，后面用起来省心，不然遇到问题或者遇到以次充好的，会影响心情的） 海盗船，550w 显卡：华硕1070 主板：微星z270 自动重启现象 在ubuntu下，使用pytorch框架，测试torch.cud...
ubuntu训练深度学习模型电脑重启解决方法
moutain9426的博客
10-05 4860
使用工作站训练深度学习模型的时候，刚开始训练就重启，可能是电源功率不够，通过降低GPU使用的最大功耗来暂时解决这个问题。
Ubuntu18.04系统在训练深度学习模型时自动重启
weixin_43587572的博客
04-27 969
我用的是2080Ti 最大功率250 sudo nvidia-smi -pl 200 nvidia-settings
Ubuntu在pytorch训练过程中总是出现死机，重启
absxyz19931021的博客
04-18 4019
问题解析：一般是gpu或者cpu在和内存io的时候，内存容量不足被强制kill了，举个例子，我训练的模型大小约占用显存16g，但是在存储模型的过程会被32g的内存撑爆 1 在pycharm的设置文件将内置内存最大值拉满，不会的同学可以直接用命令行运行py文件 2如果还爆炸的话就可以考虑进行代码的优化，如减少存储变量的数量等等 3实在不行就加内存吧 ...
windows11家庭版安装ubuntu子系统训练深度模型
weixin_38582851的博客
11-08 1432
windows下安装linux子系统做深度学习
深度学习系列-----＞环境搭建（Ubuntu）
zhengjieCYD的博客
08-12 2336
电脑基础系统硬件情况：系统：ubuntu18.04、显卡：GTX1050Ti；后续的环境搭建都在此基础上进行。此次学习选择Pytorch作为深度学习的框架，选择的原因主要由于PyTorch 在研究领域特别受欢迎，较多的论文框架也是基于其开发。
训练神经网络电脑自动重启
qq_44487483的博客
05-08 2488
最近终于解决了一个困扰自己很长时间的问题。我在使用yolact的官方代码训练时，训练一个iteration后，电脑总会自动重启。 首先确定程序肯定没有问题，因为其他人利用此程序都是可以训练的。所以我最先想到的是是不是因为是多GPU训练的问题，后来测试之后并不是这个问题。然后将batch_size改小，还是会自动重启。今天突然想到可能是显存不够，所以尝试将图片的最大尺寸改小，由550改为300，特别神奇的是，可以运行了，不会自动重启了。 我可太开心了！！！！！！！ 所以我觉得这样的问题应该是显存不足，可以尝试
深度学习 运行代码 服务器关机重启
w15180622522的博客
07-21 2090
真的是坑呀，我运行github里SimpleDeblurNet项目图像去模糊，用原来的代码一切良好，后来用在自己的服务器上，因为我这有两块2080Ti于是将里面的代码改成了多GPU运行模式。 然后就是坑比的运行即重启，程序也没报错，直接重启，有时候还没开始跑也重启。我一度怀疑是服务器的问题，可能是GPU温度过高，可能是线路老化等等 。结果发现就是代码的问题： model=SRNDeblurNet().cuda() net = torch.nn.DataParallel(mo...
ubuntu18.04系统在pytorch训练模型时自动重启问题
weixin_42064949的博客
09-11 1356
我的2080ti gpu最大功率为250 限制GPU 使用功率 sudo nvidia-smi -pl 200即可
TensorFlow使用keras已训练网络模型出现服务似乎挂掉问题
一地鸡毛的博客
05-01 1951
使用TensorFlow已经训练好的网络进行计算时，有时会出现服务器似乎挂掉了，会立刻重启的问题，或许这篇问题能够解决你的问题。
跑模型主机自动重启的原因和解决方案
最新发布
科研笔记
01-27 521
一般在运行一些需要较多计算的模块的时候主机会自动重启，这种情况下有挺多原因的：
(nohup,ssh,screen,tensorboard,jupy...)服务器上跑深度学习代码的常用操作
xiashilin的博客
02-21 1753
1.如何连上远程服务器 连上服务器 首先，当然得是要用自己的PC连接上服务器。如果你的PC是linux系统，那么可以直接通过ssh指令进行远程访问，这里不详细说明。接下来我们主要说PC是windows上的操作。首先，我们要下一个用于ssh连接的工具，个人推荐的是MobaXterm。其打开后的界面如下图所示： 然后我们依次文件->新建得到下图： 配置好后直接ssh命令登录即可 ...
查看ubuntu重启原因
heroacool的专栏
03-31 5533
叫用指令last, uptime, journalctl, dmesg这些指令查看，log里啥都每看出来。ubuntu总是重启，不知道啥原因。问了chatgpt原因，叫我查看一下log。
pytorch 多机多卡卡住问题汇总
热门推荐
爱吃火锅的博客
01-28 2万+
前言 先说一下写这篇文章的动机，事情起因是笔者在使用pytorch进行多机多卡训练的时候，遇到了卡住的问题，登录了相关的多台机器发现GPU利用率均为100%，而且单卡甚至是单机多卡都没有卡住的现象，这就非常奇怪了。 于是乎开始搜索相关的帖子，发现很多帖子虽然也是卡住话题，但是和笔者的情况都不一样，最后开始去查一些国外的帖子以及pytorch github issue等等，发现了类似问题，而且这个问题确实很严重，截至目前都没有一个很好的快速debug方法解决。 所以这里就记录一下笔者查过的相关帖子以及遇
(已解决)Ubuntu多显卡训练模型时程序卡死：torch torch 奈若何
行步至春深
09-26 3311
根因是cuda和pytorch的版本不匹配~经过这次最大的收获是理解了channel并学会了下载下安装包conda install --use-local 的安装方式
ubuntu18.04服务器异常重启排查
猫头军师兵书
01-21 5851
last reboot
大概就是Ubuntu的深度学习模型的建立
12-05
在Ubuntu系统上建立深度学习模型通常包括以下几个步骤： ### 1. 安装Ubuntu 首先，你需要在你的计算机上安装Ubuntu操作系统。你可以从Ubuntu官方网站下载最新的LTS版本，并按照安装向导进行安装。 ### 2. 更新系统 安装完成后，打开终端并更新系统软件包列表： ```bash sudo apt update sudo apt upgrade ``` ### 3. 安装必要的软件 安装一些必要的软件和工具，例如Git、curl等： ```bash sudo apt install git curl ``` ### 4. 安装Python和虚拟环境 深度学习通常使用Python编程语言。你可以使用`pyenv`来管理多个Python版本，并使用`venv`创建虚拟环境： ```bash sudo apt install build-essential libssl-dev zlib1g-dev libbz2-dev \ libreadline-dev libsqlite3-dev wget curl llvm libncurses5-dev libncursesw5-dev \ xz-utils tk-dev libffi-dev liblzma-dev python-openssl git curl https://pyenv.run | bash ``` 在`~/.bashrc`文件中添加以下内容： ```bash export PATH="$HOME/.pyenv/bin:$PATH" eval "$(pyenv init -)" eval "$(pyenv virtualenv-init -)" ``` 然后，重新加载配置： ```bash source ~/.bashrc ``` 创建虚拟环境： ```bash pyenv install 3.8.10 pyenv global 3.8.10 python -m venv myenv source myenv/bin/activate ``` ### 5. 安装深度学习框架 根据你的需求安装深度学习框架，例如TensorFlow或PyTorch： ```bash pip install tensorflow ``` 或 ```bash pip install torch torchvision torchaudio ``` ### 6. 安装CUDA和cuDNN（如果需要GPU加速） 如果你的计算机有NVIDIA GPU，并且你希望利用GPU加速深度学习训练，你需要安装CUDA和cuDNN。 首先，添加NVIDIA的PPA并更新： ```bash sudo add-apt-repository ppa:graphics-drivers/ppa sudo apt update ``` 安装NVIDIA驱动： ```bash sudo apt install nvidia-driver-460 ``` 重启计算机： ```bash sudo reboot ``` 安装CUDA和cuDNN： ```bash wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/cuda-repo-ubuntu1804_10.1.243-1_amd64.deb sudo dpkg -i cuda-repo-ubuntu1804_10.1.243-1_amd64.deb sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/7fa2af80.pub sudo apt update sudo apt install cuda-toolkit-10-1 ``` 下载并安装cuDNN： ```bash wget https://developer.download.nvidia.com/compute/machine-learning/cudnn/secure/7.6.5.32/Production/10.1_20191031/cudnn-10.1-linux-x64-v7.6.5.32.tgz tar -xzvf cudnn-10.1-linux-x64-v7.6.5.32.tgz sudo cp cuda/include/cudnn.h /usr/local/cuda/include sudo cp cuda/lib64/libcudnn* /usr/local/cuda/lib64 sudo chmod a+r /usr/local/cuda/include/cudnn.h /usr/local/cuda/lib64/libcudnn* ``` ### 7. 验证安装 验证深度学习框架和CUDA的安装： ```bash python -c "import tensorflow as tf; print(tf.__version__)" ``` 或 ```bash python -c "import torch; print(torch.__version__)" ``` ### 8. 开始训练模型 现在，你可以在虚拟环境中编写和运行深度学习模型了。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

曼车斯基

如果内容对你有用,赏杯咖啡吧!

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值