ubuntu16.04完整深度学习环境配置(包含两种方法对tensorflow库的配置)
对于深度学习的初学者来说,在配置环境的过程中必然要经过痛苦的挣扎,踩过无数的坑,最终才能守得云开见月明。作为一个小白,我经过了无数次的尝试,发现配置深度学习环境并能够使GPU进行加速,有两个方法。下面把自己的配置过程分享一下,一是方便自己查阅,二是希望能为一些人提供帮助。
参考链接:https://blog.youkuaiyun.com/m0_37924639/article/details/78785699
https://blog.youkuaiyun.com/oTengYue/article/details/79506758
https://blog.youkuaiyun.com/qq_38901147/article/details/90049666
https://blog.youkuaiyun.com/weixin_39954229/article/details/79961172
https://blog.youkuaiyun.com/xxty1122/article/details/80443969
在安装之前,想说一个问题,大部分小伙伴都会用到tensorflow框架,我们在安装tensorflow库的时候,其实是有tensorflow和tensorflow-GPU不同版本的。两种版本有不同的安装方法。
方法一:tensorflow(需要安装NVIDIA+CUDA+CUDNN+Aanconda)
方法二:tensorflow-GPU(只需安装NVIDIA +Aanconda)
CUDA+CUDNN会自动帮你安上
两种方法都进行过尝试,并且都成功了。下面先介绍第一种方法,大部分人会用第一种方法。
方法一
一.软件准备
1.CUDA8.0
下载链接:https://developer.nvidia.com/cuda-80-download-archive
根据自己的版本信息进行选择即可,最好选择runfile(local)版本,我尝试过下载其他类型没有成功,也可以尝试其它版本哦。
2.CUDNN5.1
下载链接:https://developer.nvidia.com/rdp/cudnn-archive
下载之前,需要先进行注册,最重要的一点,一定要选好对应的版本。
3.驱动安装脚本
链接:https://www.nvidia.cn/Download/index.aspx?lang=cn
4.anaconda
下载链接:https://repo.continuum.io/archive/index.html
5.明确各个版本之间的关系(安装对应的版本是关键)
nvidia与cuda需要满足关系:
https://docs.nvidia.com/cuda/cuda-toolkit-release-notes/index.html
cuda与cudnn需要满足关系:
https://developer.nvidia.com/rdp/cudnn-archive
Tensorflow不同版本要求与CUDA及CUDNN版本对应关系:
参考链接:https://blog.youkuaiyun.com/u013066730/article/details/80980940
二.显卡的安装
1.禁用开源驱动nouveau
打开终端,输入命令
sudo gedit /etc/modprobe.d/blacklist.conf
在其中添加下面两行:
blacklist nouveau
options nouveau modeset=0
对文件进行保存,退出。
为了使其生效,执行如下命令使配置生效:
sudo update-initramfs -u
重启电脑,至此开源驱动就已被禁用了,可用如下命令进行检查:
lsmod | grep nouveau1
如果系统什么也没返回,说明nouveau禁用成功
2.安装Nvidia驱动
进入存放驱动脚本的目录,执行以下命令:
sudo chmod a+x 你的脚本.sh
sudo ./你的脚本.sh -no-x-check -no-nouveau-check -no-opengl-files
参考了一些相关的经验,在安装显卡的时候一定要加上后面的参数,防止出现循环登录的界面。用此方法成功过,但如果安装的版本不匹配的话还是会出现循环登录的情况。如果出现此情况的小伙伴,请往下看,给出了解决方案。
3.验证是否安装成功
在terminal里面输入命令nvidia-smi,看到输出版本信息,就代表安装成功了。
4.问题解决方法
安装驱动后出现循环登录,解决办法
参考链接:https://blog.youkuaiyun.com/Xs_55555/article/details/79711911
同时按下ctrl+alt+F1,在出来的界面里输入帐号密码
sudo service lightdm stop #关闭显卡驱动
sudo apt-get purge nvidia* #卸#查询NVIDIA显卡驱动,并安装载显卡驱动
sudo apt-cache search nvidia* #选择一个你需要的,如nvidia 384或390
sudo apt-get install nvidia-384
sudo nvidia-xconfig
sudo reboot
在我的电脑上,再次重新登录,问题解决。
三.CUDA的安装
1.安装命令
打开terminal,进入cuda所在的下载文件夹,输入
sudo sh cuda_8.0.61_375.26_linux.run1
如果安装成功,最终会出现3个installed。
2. 安装过程的选项选择
(1). 会先有个阅读声明,一直按D即可,然后accept。
(2). 选项install nvidia accelerated Graphics Driver,输入n,因为我们已经安装了nvidia的驱动。
(3). 后面的可以都选择yes
安装过程结束后会有以下信息:
Driver :Not Selective
Toolkit :Installed in /usr/local/cuda-8.0
Samples :Installed in /home/vincent
3.验证cuda是否成功安装
重启进入界面,打开终端输入:
export PATH="/usr/local/cuda-8.0/bin:$PATH"
export LD_LIBRARY_PATH="/usr/local/cuda-8.0/lib64:$LD_LIBRARY_PATH"
这两条命令是将cuda的bin文件和lib导出到系统环境中。
如果安装的版本不是一样的,更换路径中的cuda-8.0。
(1). 终端输入:
nvcc -V
如果有CUDA的版本信息代表正常。
(2). 编译samples例子
#编译并测试设备 deviceQuery:
cd /usr/local/cuda-8.0/samples/1_Utilities/deviceQuery
sudo make
./deviceQuery
#编译并测试带宽 bandwidthTest:
cd ../bandwidthTest
sudo make
./bandwidthTest
如果这两个测试的最后结果都是Result = PASS,说明CUDA安装成功啦。
三.安装CUDNN
下载后进行解压:
tar -zxvf cudnn-8.0-linux-x64-v5.1-ga.tgz
进入cuDNN5.1解压之后的include目录,在命令行进行如下操作:
cd cuda/include
sudo cp cudnn.h /usr/local/cuda/include #复制头文件
再将进入lib64目录下的动态文件进行复制和链接:
cd ..
cd lib64
sudo cp lib* /usr/local/cuda/lib64/ #复制动态链接库
cd /usr/local/cuda/lib64/
sudo chmod +r libcudnn.so.5.1.10
sudo ln -sf libcudnn.so.5.1.10 libcudnn.so.5
sudo ln -sf libcudnn.so.5 libcudnn.so
sudo ldconfig
四.安装anaconda
通过使用以下命令来安装anaconda:
wget https://repo.continuum.io/archive/Anaconda3-5.0.1-Linux-x86_64.sh
然后运行:
sh Anaconda3-5.0.1-Linux-x86_64.sh
一路yes下来即可,最后的vs安装,若有需求便安装,记得加入环境变量。
然后更新系统环境:source ~/.bashrc
进入home/cz界面,然后用ctrl+h显示隐藏项
重启终端anaconda才能生效
五.配置tensorflow库
在anaconda中,默认python版本为3.6,且有pip安装工具。
执行以下命令:pip install tensorflow==1.2.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
完成tensorflow安装。
方法二
一. 先安装上显卡驱动和anaconda(方法同上)
二. 在anaconda中安装tensorflow GPU版本库
1.创建环境
conda create -n tensorflow python=3.6
2.进入环境
source activate tensorflow
3.安装库
conda install tensorflow-gpu==1.0
退出环境
conda deactivate 或者 source deactivate
在安装的时候会一块安装上CUDA和CUDNN
如下图所示
查看GPU运行情况- 命令:watch -n 0 nvidia-smi
如下图所示
退出watch指令 ctrl+c
验证tensorflow是否安装成功
进入环境:source activate tensorflow
输入python
import tensorflow as tf
hello = tf.constant(‘Hello, TensorFlow!’)
sess = tf.Session()
sess.run(hello)
出现如下结果,证明安装成功
出现’Hello, TensorFlow!’,证明安装成功
如下图所示