利用google CoLaboratory 免费GPU训练deeplab语义分割网络

利用Google CoLaboratory 免费GPU训练deeplab语义分割网络

最近学习使用了google免费的GPU云服务器，用以训练deeplab网络，下面记录一下环境配置过程。

前提条件

1. 可使用Google Chrome ;
2. 拥有谷歌账号，并注册谷歌云盘（注册登录之后有15 GB免费空间）；

一. 创建CoLaboratory项目

Google Chrome 进入谷歌云盘，点击左上角新建，更多选择Google Colaboratory （若未安装该应用，可点击“关联更多应用”搜索“Colaboratory ”安装即可），即可新建一个空白项目，点击上方文件名即可快速更改项目名称。

二. 连接GPU云服务器

点击右上角“连接”按钮，可自动分配并连接云服务器。

连接好以后自动显示“已连接”，然后点击左上角"修改"选项卡打开“笔记本设置”选择硬件加速器为GPU。

三.安装tensorflow-gpu 1.15.0 版本

云服务器自带tf版本为2.4.1，部分库文件与deeplab官方代码不兼容，故安装tf1.15版本。
代码行运行：

pip install tensorflow-gpu==1.15

等待安装成功，测试tf

import tensorflow as tf
tf.__version__

成功输出tf版本，即安装成功

以下代码可测试能否正常使用GPU

import time
import tensorflow as tf
tf.disable_eager_execution()
begin = time.time()

with tf.device('/gpu:0'):
    rand_t = tf.random_uniform([50,50],0,10,dtype=tf.float32,seed=0)
    a = tf.Variable(rand_t)
    b = tf.Variable(rand_t)
    c = tf.matmul(a,b)
    init = tf.global_variables_initializer()

sess = tf.Session(config=tf.ConfigProto(log_device_placement=True)) #强制使用GPU
sess.run(init)
print(sess.run(c))

end = time.time()
print(end-begin,'s')

查看GPU型号

!nvidia-smi

输出

四. 关联谷歌云盘

显示当前路径

!pwd

运行

import os
from google.colab import drive
drive.mount('/content/drive')

点击连接登录谷歌云盘


关联到该目录成功

五. 下载源代码

运行

!git clone https://github.com/tensorflow/models.git

下载完成以后使用%cd指令切换到models/research/slim目录下
执行安装slim

!python setup.py build
!python setup.py install

***设置python路径(敲黑板)

%env PYTHONPATH=/content/drive/My Drive/models/research/:/content/drive/My Drive/models/research/slim
!echo ${PYTHONPATH}

这里需要改成自己的路径，最好在slim目录下运行!pwd指令查看当前绝对路径。

执行训练

切换至%cd …/deeplab 目录
执行

!python model_test.py 

测试完成

接下来就可以下载预训练模型及数据集按照官方教程对deeplab进行训练了。