深度学习中训练时终端常用工具

使用编译器训练时常用工具

使用vscode或者是pycharm等编译器训练时，有几个常用的命令或者工具。

在训练时，我一般是开启4-5个终端，每个终端单独执行一个命令，像下列列表一样，每个代表一个终端。以下命令都是直接在终端执行，前提是安装好对应的包或工具。

1. tmux
   1. 介绍：在使用远程服务器时，使用这个工具，可以防止训练代码时远程服务器网络突然断连，导致终端训练结束。（linux需要先安装这个工具才能用）
   2. 命令
      1. 创建一个名称为name的连接：tmux new -s name
      2. 下次连接回来name的连接：tmux a -t name
      3. 列出所有连接：tmux ls
      4. 关闭连接：tmux kill-session -t <session-id/name>
      5. 终端翻页：按Ctrl+B后，再按[，按上下方向键翻页，按q退出
   3. 使用：我一般是用这个命令先创建一个属于这个项目的终端，tmux new -s name，然后再这个tmux连接中，训练代码。
2. watch
   1. 介绍：该命令可以帮助用户监控任何命令的输出变化，这对于需要持续检测系统状态或者文件内容变化的情况非常有用
   2. 命令
      1. 实时查看 GPU 占用情况，并每秒秒刷新：watch -n 1 nvidia-smi
   3. 使用
      1. 在训练中，需要看显存的占用，我会单独一个终端是用这个命令查看显存情况。
3. tensorboard
   1. 介绍：Pytorch训练可视化，在训练代码中将损失和一些需要观察的参数加入tensorboard，便于可视化。
   2. 命令：tensorboard --logdir=日志文件夹 --port=指定端口（默认可以不设置这个参数）
   3. 使用：tensorboard --logdir=/data/coding/runs
4. bash
   1. 介绍：这个是普通终端，因为前面三个都会单独占用一个终端，我一般会再开一个终端，来输入一些临时查询的命令，比如查看内存（htop）或者存储占用（df -h）