AutoDL使用手册

官网：AutoDL-品质GPU租用平台-租GPU就上AutoDL

1.服务器购买

2.新建虚拟环境

conda create -n tf python=3.8           # 构建一个虚拟环境，名为：tf
conda init bash && source /root/.bashrc # 更新bashrc中的环境变量
conda activate tf                       # 切换到创建的虚拟环境：tf

3.各个目录的介绍

source /root/.bashrc

4.文件上传

本来建议使用阿里云盘上传，但是阿里云盘限速了，文件从本地上传到云盘都慢的一P，因此决定不再使用，可以使用SCP终端方式上传，windows推荐xshell软件，Linux推荐FileZilla¶。

使用scp上传文件的方法：AutoDL帮助文档

scp -rP 28129 myFiles.zip root@conxxct.wxxtc.gpuhub.com:/root/autodl-tmp

公开数据集参考：AutoDL帮助文档

5.文件下载

从github上下载代码时，可以启用加速：

在终端启用加速：

source /etc/network_turbo

 在jupyter notebook启用加速：

import subprocess
import os

result = subprocess.run('bash -c "source /etc/network_turbo && env | grep proxy"', shell=True, capture_output=True, text=True)
output = result.stdout
for line in output.splitlines():
    if '=' in line:
        var, value = line.split('=', 1)
        os.environ[var] = value

使用结束后记关闭加速

unset http_proxy && unset https_proxy

6.文件解压 

# 下载安装工具
curl -L -o /usr/bin/arc http://autodl-public.ks3-cn-beijing.ksyun.com/tool/arc && chmod +x /usr/bin/arc

# 压缩/打包
arc compress xxx.zip path/to/directory

# 解压
arc decompress xxx.zip 
或者解压到指定目录
arc decompress xxx.zip path/to/directory

有个别zip的压缩包使用上边的命令以及unzip命令都不能解压时，先检查文件大小，如果文件大小和源文件一样，那么尝试下面的命令解压： 

apt-get update && apt-get install -y fastjar
jar xvf xxx.zip

7.Jupyter Notebook使用

# 将新的Conda虚拟环境加入jupyterlab中
conda activate tf                         # 切换到创建的虚拟环境：tf
conda install ipykernel
ipython kernel install --user --name=tf   # 设置kernel，--user表示当前用户，tf为虚拟环境名称

运行代码时，可能会遇到路径错误的问题，可以用!pwd查看当前位置，然后用os.chdir()修改位置。下图中绿色框为原来位置，红色框为修改后的位置。 

8.终端长时间运行项目

为了避免断开连接后，任务中断，可以参考守护进程文档：AutoDL帮助文档 

9.远程连接pycharm

服务器端生成的文件（图片视频权重文件等）无法同步到本地，需要自己下载。

需要注意的是，本地项目文件夹最好不要存放数据集，否则连接服务器会自动上传，而且速度很慢。

pychram连接远程终端：

 10.pip国内源下载

#方法一：豆瓣镜像网站
pip install 安装包名字 -i http://pypi.doubanio.com/simple/ --trusted-host pypi.doubanio.com 


#方法二：豆瓣
pip install 安装包名字 -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com

#方法三：清华大学（推荐）
pip install 安装包名字 -i https://pypi.tuna.tsinghua.edu.cn/simple/ --trusted-host pypi.tuna.tsinghua.edu.cn 

 11.服务器端，利用jupyter查看视频的方法

# 查看视频
from IPython.display import HTML
from base64 import b64encode

video = 'demo/demo.mp4' # 视频路径

mp4 = open(video,'rb').read()
data_url = "data:video/mp4;base64," + b64encode(mp4).decode()
HTML("""
<video width=400 controls>
      <source src="%s" type="video/mp4">
</video>
""" % data_url)

12.实例GPU数量不够无法开机怎么办？

1. 将原来的实例保存镜像，这样就不用再次配置环境了。
2. 去算力市场购买新的实例，镜像选择--我的镜像--选择刚保存好的镜像

以下两个是我自己保存的镜像 

# CUDA 11.1
pip3 install torch==1.8.2 torchvision==0.9.2 torchaudio==0.8.2 --extra-index-url https://download.pytorch.org/whl/lts/1.8/cu111