拥有自己的服务器之后,就可以通过Xshell远程连接服务器的Linux系统,然后搭建和windows一样的anaconda环境,由此实现远程训练模型。
第一步:wget https://repo.anaconda.com/archive/Anaconda3-5.3.0-Linux-x86_64.sh
通过Linux的命令wget将Linux的链接下载下来存放在当前目录下。
第二步:通过bash命令将下载的安装包运行
这样,就安装了我们的anaconda
第三步: 这时候我们输入conda可能出现no command 的问题,可能是因为第一次没有把conda写到环境变量中。
我们通过vim ~/.bashrc 来查看环境变量中是否有conda
如果有 可以通过 source ~/.bashrc 来source一下
这样,我们就成功进入到conda的bash环境中
如果我们想要退出conda 的bash环境,可以使用命令 conda deactivate 退出bash环境
接下来,就可以按照之前windows的方式在base环境下创建你自己需要的环境了
#创建虚拟环境
conda create -n your_env_name python=X.X(3.6、3.7等)
#激活虚拟环境
注意:这里现在使用source ~/.bashrc 可以进入base环境,也可以使用conda activate base进入base环境,或者直接使用conda activate XXX 进入你自己创建的环境。
退出环境可以直接使用conda deactivate进行退出
source activate your_env_name(虚拟环境名称)
#退出虚拟环境
source deactivate your_env_name(虚拟环境名称)
#删除虚拟环境
conda remove -n your_env_name(虚拟环境名称) --all
conda remove --name your_env_name package_name # 删除环境中的某个包
#查看安装了哪些包
conda list
#安装包
conda install package_name(包名)
conda install scrapy==1.3 # 安装指定版本的包
conda install -n 环境名 包名 # 在conda指定的某个环境中安装包
#查看当前存在哪些虚拟环境
conda env list
#或
conda info -e
#或
conda info --envs
#检查更新当前conda
conda update conda
#更新anaconda
conda update anaconda
#更新所有库
conda update --all
#更新python
conda update python
3.安装requirements.txt依赖:pip install -r requirements.txt
创建好需要的环境后,即可搭建模型在该环境下面进行训练了,下面来讲一下如何在Linux进行模型训练。
通过使用Xshell连接远程服务器之后,相当于你现在使用的就是Linux系统,那么进行训练也很简单,首先进入你搭建的环境当中,然后使用命令行 python main.py 即可进行模型训练,如果出现报错大概率是没有装需要的包的问题,这是只需要pip命令即可安装相应的包,因为你现在就在训练所需的环境当中,因此可以直接使用匹配命令。(第一次用Linux训练的见解,不知道后面会不会变化)。
在训练过程当中,如何让模型在Linux的后台训练也是一个存在的问题,下面来说几个常用命令:
- 同时按ctrl+z 可以将一个正在前台执行的命令放到后台,并且处于暂停状态,不可执行
- jobs --查看当前有多少在后台运行的命令
- fg %number --将后台中序号为number的命令调到前台执行
- bg %number --将一个在后台暂停的命令,变成继续执行 (在后台执行)不可信,我执行完之后该命令被调到前台执行并且无法终止