使用tmux+服务器后台训练模型

最新推荐文章于 2025-06-10 13:31:49 发布

momoiscoding

最新推荐文章于 2025-06-10 13:31:49 发布

阅读量430

点赞数 4

CC 4.0 BY-SA版权

文章标签：服务器深度学习

本文链接：https://blog.youkuaiyun.com/m0_59702288/article/details/138035346

本文讲述了作者在进行深度学习模型训练时，因校园Vpn问题导致服务器中断的经历。通过介绍tmux的安装、新建会话和保持连接的方法，作者分享了解决此类问题并保证训练连续性的工具。推荐链接提供了更全面的tmux教程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一开始没有使用tmux，所以在训练模型时，校园vpn由于长时间没有操作而断掉了，然后服务器就断掉了，训练过程就断掉了，停止在了45/60epoch。

后了解到tmux可以将进程直接挂在服务器后台，就不用担心网络以及vpn的变化会影响训练过程了。

1.安装

我是在我的虚拟环境中安装的tmux，所用使用的是conda安装语句

conda install tmux

2.新建tmux会话

tmux new -s <session-name>

例如

tmux new -s session1

可使用ctrl+d退出tmux会话

3.接入tmux会话

tmux attach -t <session-name>

推荐博文https://www.ruanyifeng.com/blog/2019/10/tmux.html
【写的非常全面】

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

momoiscoding

关注关注

4
点赞
踩
3

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Tmux命令使用教程！SSH远程训练模型必备

weixin_47716911的博客

10-19

821

写在前面作为一个深度学习从业者，目前最大的痛点就是算力的缺乏。好在目前GPU服务器云平台比较广泛，例如极链AI云就是一家比较好的平台。该平台上的服务器支持多种方式远程连接（Xshell、Pycharm专业版和VS），数据也可以用FTP进行传输，使用起来比较灵活，价格也比较优惠，学生党也可以完全承受，同时还有各种优惠活动来获取免费时长，比较良心。在此推荐对于有GPU租用需求的伙伴入坑。极链AI云平台官网如下：极链AI云平台之前基本利用MobaXterm来远程GPU服务器，虽然和Xshell都是SSH远

解决AutoDL远程服务器训练大模型的常见问题：CPU内存不足与 SSH 断开

weixin_41496173的博客

09-03

2946

在使用远程服务器（如 AutoDL）进行深度学习训练时，通常会遇到一些常见问题，比如由于数据加载导致的内存消耗过高，以及 SSH 连接中断后训练任务被迫停止。这篇文章将介绍我在这些问题上遇到的挑战，并分享相应的解决方案。

1 条评论您还未登录，请先登录后发表或查看评论

tmux 后台训练

weixin_30270889的博客

04-01

247

参考链接：https://blog.youkuaiyun.com/u014381600/article/details/54588531 转载于:https://www.cnblogs.com/zf-blog/p/10634688.html

tmux 更优雅的后台训练模型

上帝是个娘们的博客

05-18

2742

更优雅的后台训练模型的方法说起后台训练模型，首先想到的必然是nohup &的方式，nohup &后台运行程序。但我有时候会遇到bug。这里介绍一种更优雅的方式tmux 详细内容见Tmux命令使用教程！SSH远程训练模型必备安装 # Ubuntu 或 Debian $ sudo apt-get install tmux # CentOS 或 Fedora $ sudo yum install tmux # Mac $ brew install tmux 新建会话 # 默认新建一

nohup命令在后台训练

最新发布

qq_45754436的博客

06-10

248

摘要：本文介绍利用nohup命令在服务器后台持续运行深度学习训练任务的方法。针对train.sh脚本和train.py程序，分别给出具体操作步骤：1）添加执行权限并启动后台任务（输出日志重定向）；2）通过ps/nvidia-smi监控进程；3）使用tail实时查看日志；4）提供进程终止命令。该方案能有效解决本地终端断开后训练中断的问题，确保长时间任务稳定执行，日志自动保存便于追踪。适用于需要关闭本地电脑但保持服务器训练的场景。

【Linux】tmux命令使用教程

戴璞微的学习之路

10-16

1621

主要介绍tmux命令具体用法

tmux后台训练-远程控制，网络掉线，训练不断

AnneMOMO's Blog

11-29

1221

Ubuntu18.04 tmux的安装和使用平时使用远程（例如MobaXterm）控制服务器进行网络训练时，很容易因为本地网络中断而影响到服务器训练进程，最近发现一个神器-Tmux，即使远程控制时断网了，也可以继续在服务器后台进行网络训练，丝毫不干扰。 1、tmux安装：在远程的服务器上使用命令apt-get install tmux安装好tmux； 2、在远程服务器中断输入tmux，即可进入tmux界面，在该界面输入你需要运行的程序，即可挂载在后台进行运行； 3、当你再次登录服务器想要查看运行进程时，使

07 Tmux后台训练模型

qq_73361455的博客

07-19

234

命令可以查看当前所有的 Tmux 会话。以下是 Tmux 的最简操作流程。命令用于杀死某个会话。

autodl服务器训练模型

02-10

### 如何在AutoDL服务器上训练机器学习模型 #### 注册与登录进入AutoDL官方网站，在浏览器中访问该网站并完成注册过程。注册完成后，使用所创建的账户信息登录到平台[^1]。 #### 租赁计算资源登录成功后，选择...

大模型额外篇章二：基于chalm3或Llama2-7b训练酒店助手模型

谢白羽

05-27

1312

一、代码部分讲解二、实际部署步骤(CHALM3训练步骤) 1）注册AutoDL官网实名认证 2）花费额度挑选GPU 3）准备实验环境 4）开始执行脚本 5）从浏览器访问 6）可以开始提问 7）开始微调模型 8）测试训练后的模型三、基于Llama2-7b的训练四、额外补充 1）修改参数后 2）如果需要访问科学的彼岸

服务器中止模型训练命令

03-16

### 如何在服务器上终止模型训练命令当需要停止正在运行的模型训练过程时，可以通过查找并杀死对应的进程来实现。以下是具体的操作方式： #### 查找目标进程可以使用 `ps` 命令结合 `grep` 来定位当前运行中的 ...

一文明白使用nohup将服务器训练程序后台运行不关闭+随时通过查看训练情况输出与visdom可视化

01-06

使用nohup将训练程序后台不间断运行+随时查看训练情况输出与可视化使用服务器进行远程训练nohup指令和查看输出缺省输出文件的写法指定输出文件的写法和CUDA一起用实时查看out配合visdom使用使用服务器进行远程训练由于笔者经常需要使用服务器进行训练，且有些模型训练起来需要很长的时间，如Mask模型，故经常需要长期跑程序。由于我使用的是ssh登录，因此断网或者退出账号时程序就会被kill。总结了以下常用的远程训练指令，帮你可以不间断的训练模型，并且随时可以查看模型可视化结果。 nohup指令和查看输出 nohup 是 no hang up 的缩写，就是不挂断的意思。 nohup命令：

开发环境配置：服务器训练模型工具tmux基础使用

Hundreays

02-05

2120

服务器训练模型工具tmux基础使用1.tumx可以做什么2.Ubuntu安装tmux3.常用命令3.1 新建会话并进入3.2 退出会话3.4 重新进入会话3.5 销毁会话 1.tumx可以做什么在ubuntu服务器上的做实验跑模型的时候，一般都是通过ssh进行远程连接。模型训练过程往往需要比较长的时间，但是网络有时候不稳定，可能在半夜会出现终端会话连接断开的情况，这样这个终端里所执行的程序也就中断，tmux刚好可以解决这个问题，当我们在tmux中工作的时候，即使关掉ssh连接窗口，再次连接服务器然后进入t

远程服务器训练模型，使用tmux防止训练终止

m0_67839004的博客

01-01

359

【代码】远程服务器训练模型，使用tmux防止训练终止。

tmux远程服务器训练

李响

02-22

1207

平时使用远程（例如MobaXterm）控制服务器进行网络训练时，很容易因为本地网络中断而影响到服务器训练进程，最近发现一个神器-Tmux，即使远程控制时断网了，也可以继续在服务器后台进行网络训练，丝毫不干扰。 1、tmux安装：在远程的服务器上使用命令apt-get install tmux安装好tmux； 2、在远程服务器中断输入tmux，即可进入tmux界面，在该界面输入你需要运行的程序，即可挂载在后台进行运行； 3、当你再次登录服务器想要查看运行进程时，使用tmux a即可看到进程，使用tmux ls

深度学习模型训练中Linux系统命令tmux的使用教程，并用手机端进行监控

千与编程

07-20

895

现在的很多深度学习模型的训练时间不再是短短的一小时，两个小时，但是使用xshell的软件的进行远程服务器的连接，但是一旦关掉软件的端口，就会与远程的服务器的远程连接中断。 tmux的Linux系统命令可以解决这个问题，进入Linux系统后，在终端输入 tmux new -s 0 开通一个新的session会话，编号为0，并且与xshell进行接触解绑或者输出一个会话为GPU的的名字 tmux new -s GPU 查看已经有的session的例表 tmux ls 使用Ctrl+d进行退出sessi

Linux在后台运行程序，训练模型（screen命令）

qq_43605229的博客

05-16

3216

应用screen在后台运行，训练模型引言使用方法引言我们在远程服务器或是云端服务器上运行程序或是训练模型时总是有一个问题就是不小心断了一下网然后训练就断开连接，训练停了，当场心态爆炸，而screen就通过在后台运行很好的解决了这个问题，断网后还能继续训练。使用方法 1.安装首先确定系统是否安装了screen 在终端输入以下命令，如果不报错则已经安装 which screen 如果报错则输入以下命令安装 Ubantu系统： apt-get install screen CentOS系统 yum

如何实现服务器离线训练模型，后台执行进程，tmux和nohup命令解决你的烦恼

Hang3Y的博客

01-06

2166

需求说明：在PC端运行命令，而进程在服务器Linux端，你希望关闭PC端而不影响or Linux端的进程不断，则可以参考这里。两种方法：tmux和nohup命令

训练模型+tmux+自动选择gpu ID的一种方案

york1996的博客

12-09

1190

使用场景：我建立了一系列的tmux会话，他们的名字是gpu0，gpu1，gpu2等等。我调参的时候，每个程序占用一个gpu，我需要在程序里面写明白使用gpu 0， os.environ['CUDA_VISIBLE_DEVICES']=f"{gpu}" 或者是 CUDA_VISIBLE_DEVICES=0 python train.py 然后把这个程序放到tmux名字是gpu0的会话里面用。这里存在一个冗余的地方，就是tmux已经指定了gpu id，程序再指定一次。现在我...