Google Cloud Computing(ubuntu/Deepin)
1. 创建实例以及文件传输
第一步:在google cloud上创建实例
第二步:本地安装google cloud sdk,并授权,
Ubuntu:
sudo snap install google-cloud-sdk --classic
gcloud auth login
gcloud init
Deepin: 参考https://cloud.google.com/sdk/downloads#apt-get
export CLOUD_SDK_REPO="cloud-sdk-$(lsb_release -c -s)"
echo "deb http://packages.cloud.google.com/apt $CLOUD_SDK_REPO main" | sudo tee -a /etc/apt/sources.list.d/google-cloud-sdk.list
sudo apt-get install curl
curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo apt-key add -
sudo apt-get update
sudo apt-get install google-cloud-sdk
gcloud init
之后会弹出网页要求登录谷歌账号验证。
第三步:利用gcloud连接到实例。
选择查看gcloud命令。
在ubuntu terminal输入gcloud 命令行,e.g.
gcloud compute --project "PROJECT ID" ssh --zone "us-west1-b" "instance-1"
之后会自动创建ssh key。
之后即可连接上instance,
第四步:从本地向实例上传文件(夹)和下载文件(夹)。
新启动一个terminal,
- 上传:将本地文件
test
上传到实例文件夹test_folder
中,例如
gcloud compute --project "PROJECT ID" scp test instance-1:~/test_folder
将本地文件夹test2
上传到实例文件夹test_folder
中,例如
gcloud compute --project "PROJECT ID" scp --recurse test2 instance-1:./test_folder
- 下载:将实例中文件
test
下载到本地,例如
gcloud compute --project "PROJECT ID" scp instance-1:~/test_folder/test ./
将实例中文件夹test_folder
下载到本地,
gcloud compute --project "PROJECT ID" scp --recurse instance-1:~/test_folder ./
2. 安装CUDA和CuDNN
- 安装CUDA 8.0 及Nvidia Driver
在实例中运行,
sudo su
#!/bin/bash
echo "Checking for CUDA and installing."
# Check for CUDA and try to install.
if ! dpkg-query -W cuda; then
# The 16.04 installer works with 16.10.
curl -O http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/cuda-repo-ubuntu1604_8.0.61-1_amd64.deb
dpkg -i ./cuda-repo-ubuntu1604_8.0.61-1_amd64.deb
apt-get update
# apt-get install cuda -y
sudo apt-get install cuda-8-0
fi
之后运行,
echo 'export CUDA_HOME=/usr/local/cuda' >> ~/.bashrc
echo 'export PATH=$PATH:$CUDA_HOME/bin' >> ~/.bashrc
echo 'export LD_LIBRARY_PATH=$CUDA_HOME/lib64' >> ~/.bashrc
source ~/.bashrc
- 安装CuDNN 7.1
下载CuDNN本地再上传到实例。
https://developer.nvidia.com/rdp/cudnn-archive
https://developer.nvidia.com/compute/machine-learning/cudnn/secure/v7.1.3/prod/8.0_20180414/cudnn-8.0-linux-x64-v7.1
在实例中运行,
cd $HOME
tar xzvf cudnn-8.0-linux-x64-v7.1.tgz
sudo cp cuda/lib64/* /usr/local/cuda/lib64/
sudo cp cuda/include/cudnn.h /usr/local/cuda/include/
rm -rf ~/cuda
rm cudnn-8.0-linux-x64-v7.1.tgz
3. 安装Anaconda及pytorch
下载Anaconda到本地并上传到实例中
https://repo.anaconda.com/archive/Anaconda3-5.2.0-Linux-x86_64.sh
在实例中运行如下命令安装
bash Anaconda3-5.2.0-Linux-x86_64.sh
之后运行如下命令激活安装
source ~/.bashrc
export PATH=~/anaconda3/bin:$PATH
安装pytorch
https://pytorch.org/