Linux服务器断网后模型继续训练--screen

最新推荐文章于 2025-02-28 18:53:02 发布
最新推荐文章于 2025-02-28 18:53:02 发布
阅读量1.6k 收藏 9
点赞数
分类专栏： 模型训练 文章标签： linux screen 服务器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/sinat_38974831/article/details/120237536
版权

在Linux服务器上跑深度学习代码经常需要好几天才能完成，如果中途网断了，连不上服务器，代码无法继续运行，如何解决这个问题？
1.建立screen
screen -S name
2.激活环境
source activate xx
3.运行代码
screen命令
screen -S name创建
screen -ls查询窗口
screen -r name进入
kill -9 id ，screen -wipe删除screen

服务器跑代码,Python,深度学习代码
Jiashilin
04-20 3万+
做深度学习有一段时间了，看了一些论文，跑了一些代码，挖了不少坑，也填了不少坑。在这里先总结一下在服务器上跑深度学习代码时常用的一些操作吧。 如何连上远程服务器 连上服务器 首先，当然得是要用自己的PC连接上服务器。如果你的PC是linux系统，那么可以直接通过ssh指令进行远程访问，这里不详细说明。接下来我们主要说PC是windows上的操作。首先，我们要下一个用于ssh连接的工具，个人推荐的...
SSH连接服务器断网后重新查看原训练进程
Thomas_Ren_zy的博客
03-21 4514
项目场景： 在使用SSH连接远程server后，可以使用server上的GPU对我们的模型进行训练。 而远程连接最主要的一个问题就是如果连接断开之后，模型的训练在服务器中仍然在运行（训练），我们怎么继续查看这个正在训练的过程，而不是重头开始。 解决方案： 此处可以新建一个桌面，在这个桌面中训练模型，断网后直接重新查看这个桌面即可。 具体命令代码如下： 创建一个窗口 screen -S screen_name 查看窗口是否建立 screen -ls 可见结果如下： There is a screen o
配置在关闭本地电脑的情况下远程服务器仍然训练、工作
热门推荐
一位安分的码农的博客
08-11 1万+
自己的电脑连上服务器后，训练模型，若这时关闭电脑，则服务器也会随之关闭模型的训练。那么，如何使得自己的电脑关闭的情况下，服务器仍然继续执行训练任务呢？五、需要关闭电脑的时候，使用ctrl+a+d退出screen，再关闭电脑。这个时候不用担心，因为服务器是会继续执行任务的。六、需要查看终端的输出时，重新打开screen即可，执行如下命令。一、用vscode或者cmd的ssh连接到服务器。七、需要删除某个screen时，执行如下命令。二、执行命令，创建screen。三、查看创建的screen。...
服务器训练模型被关闭，可以试试挂起
qq_43725659的博客
11-03 353
服务器训练模型之挂起，在后台训练，不会被close影响
Linux服务器断开连接仍然训练模型方法
m0_62102107的博客
11-02 1695
方法一中的screen命令并不是每个服务器都能使用的，如果你使用的服务器没有安装screen，而你又没有权限安装，那么可以使用nohup命令。但只能有一台机器进入窗口，如果有一台机器正查看screen窗口内容，其他机器将进入失败。步骤1执行之后代码就已经运行了，这时候就可以关上电脑走人了。如果忘了输入的窗口名是什么，输入以下命令可以查看存在的窗口有哪些。新建窗口后可以在窗口里运行代码，即便断开连接也可以继续运行。如果没有screen则需要安装，以下是安装命令。输入以下命令可以重新进入运行窗口。
使用Screen解决服务器训练模型训练中断问题
一只小包子的博客
09-06 3690
使用ssh连接到服务器时，如果连接非正常中断（例如使用Xshell长时间未操作自动断开连接 ），重新连接的时候会重新创建一个session，这样如果在进行模型训练时，未训练结束发生非正常中断，则无法恢复到模型训练的session。此时可以通过screen来解决该问题。 screen -S sessionName 创建一个session screen -ls 列出所有的session s...
应用screen命令在后台运行程序，训练模型
Ajekseg的博客
05-20 2278
应用screen在后台运行，训练模型 引言 使用方法 引言 我们在远程服务器或是云端服务器上运行程序或是训练模型时总是有一个问题就是不小心断了一下网然后训练就断开连接，训练停了，当场心态爆炸，而screen就通过在后台运行很好的解决了这个问题，断网后还能继续训练。 使用方法 1.安装 首先确定系统是否安装了screen 在终端输入以下命令，如果不报错则已经安装 which screen 如果报错则输入以下命令安装 Ubantu系统： apt-get install screen CentOS系统
如何不中断连接保持linux服务器持续运行 —— screen 使用介绍
CK的博客
03-17 1252
在 linux 服务器上跑模型的时候，有时会在终端会话中持续了一段时间后超时断开，或者因为意外情况断网，如果正常在命令行终端执行程序时，此时会中断程序的进行，这很恼火，这就意味着要让程序持续运行，就必须得保持主机和服务器的连接，程序跑一晚上，主机就得开一晚上，那我还要服务器干什么，为了解决这个问题， screen 是个及其有用的方法。也可以启动一个会话，会自动命名，这里这个session_name 用处并不大，你既可以通过这个名字来访问会话，也可以通过 ID 来访问会话，而 ID 可以通过下条命令获取。
conda命令速查，深度学习项目运行
jiayue的博客
05-07 2592
目录说明conda查询命令国内镜像源配置conda镜像源配置pip镜像源配置包的升级/降级创建虚拟环境包的下载方法1包的下载方法2pip和conda下载包的区别虚拟环境崩溃—卸载环境导出，重新安装导出当前环境导入环境操作导出pip安装的包安装pip相关包到目标机器深度学习项目运行遇到的问题 说明 之前服务器上的anaconda环境崩了，重装anaconda后，发现对于很多conda命令还是不熟悉，所以在此记录常用的conda命令，本教程适合人群：linux服务器上，安装完anaconda/miniconda
Tensorflow 4. 训练过程，服务器宕机了一次，服务器重启之后加载保存的model.ckpt报错？
andersonxie的博客
04-17 2162
  问题原因：根据代码中设置的tf.train.Saver(max_to_keep=?)，原因是最新一次写入model.ckpt的参数没有写完，此时服务器宕机，因此在重新加载model.ckpt时会报错（保存参数不完整）。  解决方法：  假设当前的checkpoint内容为：  model_checkpoint_path: "/home/***/train/model.ckpt-64863"  ...
一文明白使用nohup将服务器训练程序后台运行不关闭+随时通过查看训练情况输出与visdom可视化
01-06
使用nohup将训练程序后台不间断运行+随时查看训练情况输出与可视化使用服务器进行远程训练nohup指令和查看输出缺省输出文件的写法指定输出文件的写法和CUDA一起用实时查看out配合visdom使用 使用服务器进行远程训练 由于笔者经常需要使用服务器进行训练，且有些模型训练起来需要很长的时间，如Mask模型，故经常需要长期跑程序。由于我使用的是ssh登录，因此断网或者退出账号时程序就会被kill。总结了以下常用的远程训练指令，帮你可以不间断的训练模型，并且随时可以查看模型可视化结果。 nohup指令和查看输出 nohup 是 no hang up 的缩写，就是不挂断的意思。 nohup命令：
pycharm连接远程服务器，本地断网，训练终止
qq_36183881的博客
04-08 8965
pycharm连接远程服务器，本地断网，训练终止问题描述解决办法 问题描述 pycharm连接远程服务器，自动上传代码，训练方便。 但是本地断网训练终止，也挺麻烦的 解决办法 并不是啥聪明方法，但是是有效的笨办法，要是各位有好方法评论一下~谢谢 在pycharm中点击执行，然后点击结束执行，run的窗口第一行会出现被执行的命令，拷贝命令。 打开命令行提示符CMD，使用ssh连接服务器。 连接后输入命令，程序就在服务器后台执行了。要确保程序是 nohub cmd(cmd是被拷贝的命令) & 注意：程
Ubuntu 服务器训练程序，断网也能训练
sumeil的博客
08-23 780
Ubuntu 服务器训练程序，断网也能训练
本地断网，autodl服务其不停止训练
hi_ine的博客
09-19 3616
两种方法： 使用screen窗口在Autodl服务器训练网络_autodl断网了还会运行嘛-优快云博客AutoDL关闭终端或网络中断不影响程序运行的方法-优快云博客
ssh远程链接服务器，利用screen命令，避免因为断网而中断模型训练
nima_zhang_b的专栏
09-21 9294
最近深度学习项目，经常ssh远程链接服务器，模型一跑就是几十个小时，有时候需要查看状态。 不能因为意外断网，而中断模型的训练。这里介绍个简单的方法，不怕意外断网。 1.如下图，sudo ssh -l user 192.168.1.245    链接服务器 2.利用screen 命令 ，重起一个screen。这个就相当于远程服务器自己启动一个命令行接口。      screen -S d...
服务器模型训练挂载的使用（screen），以及根据checkpoint节点继续训练模型！
Stuomasi_xiaoxin的博客
08-05 1190
本篇文章主要围绕解决深度神经网络模型在进行大型网络模型训练的时候，训练中断应该如何基于之前训练的模型继续训练，还有深度学习模型训练如何在中断服务器ssh连接之后，仍然能够继续保持训练。
多GPU时指定GPU训练 + 使用tmux在ssh断开后继续运行程序
吃不胖的粥
10-20 1367
目录 1.指定gpu训练 1.1 .解决方法 1.1.1从终端直接指定(推荐使用，简单方便) 1.1.2 python代码中设定： 1.1.3. 使用函数set_device 1.2.查看是否运行成功 2.使用tmux在ssh断开后继续运行程序 2.1 安装tmux 2.2 新建会话 2.3 会话中执行程序 2.4 进入指定会话中 2.5 退出当前界面进入正常模式 2.6 删除当前会话 1.指定gpu训练 情况描述： 服务器上有两个gpu显卡，我想同时跑两个深度学...
AutoKeras 导出模型，训练中断与恢复
devmole的专栏
02-28 2302
先用个mnist的例子说明吧，下面的例子将训练以后的模型导出成图 from keras.datasets import mnist from keras.models import load_model from keras.utils.vis_utils import plot_model from autokeras import ImageClassifier import ...
当我在AutoDL(SSH)跑模型时，如何用screen来守护进程，防止因断网导致程序终止
最新发布
qq_52436400的博客
02-28 1142
今天跑了一下午的模型，临时把Laptop带去会议室，忘记连着SSH的模型还在跑，结果回来发现pycharm终端没了，晕。记录一下在终端调train.py时，成功让我可以开始训练后，切换网络/断网/把电脑拿走后，再恢复进程，不会中断SSH连接~
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值