首先碰到安装完搜狗拼音输入法后打字是乱码的情况,解决方法如下:
输入如下命令:
cd ~/.config
sudo rm -rf SogouPY* sogou*
之后注销重启即可。
安装caffe
参考资料:(主参考)Ubuntu16.04 Caffe 安装步骤记录(超详尽)
Ubuntu16.04 14.04安装配置Caffe(GPU版)
安装配置 Ubuntu 14.04 + CUDA8.0 + cuDNN v5 + caffe
安装流程细分为如下10个步骤,细化步骤粒度更易避免出错:
1、安装依赖包
4、配置环境变量
10、安装 caffe
11、安装 pycaffe接口环境和python-opencv的接口环境
12、测试
1 | sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libhdf5-serial-dev protobuf-compiler |
2 | sudo apt-get install --no-install-recommends libboost-all-dev |
3 | sudo apt-get install libopenblas-dev liblapack-dev libatlas-base-dev |
4 | sudo apt-get install libgflags-dev libgoogle-glog-dev liblmdb-dev |
2. 禁用 nouveau 驱动(理论这样,先禁用再安装新的驱动,但我是直接在附加驱动里直接更新的384版本
)
打开终端,输入$ sudo gedit /etc/modprobe.d/blacklist-nouveau.conf,输入
blacklist nouveau options nouveau modset=0 |
保存退出,执行$ sudo update-initramfs -u,禁用结束。重启电脑。
验证驱动是否禁用成功:
输入$ sudo lspci | grep nouveau,如果没有内容,则禁用成功。
(1) 查询NVIDIA驱动
首先去官网 http://www.nvidia.com/Download/index.aspx?lang=en-us 查看适合自己显卡的驱动并下载:驱动文件后缀名应当是以.run结尾的。我们要把这个文件移动到根目录下,原因是下面我们要切换到字符界面下,如果放到~/下载 下面,我们没有办法进入下载这个目录(没有中文输入法,且中文全部是乱码)
点击右边的search进入下载页面
我下载后的驱动文件是:NVIDIA-Linux-x86_64-375.66.run
(2)安装驱动
这里要尤其注意,安装显卡驱动要先切换到文字界面,(按Ctrl+Alt+F1~F6).所以,启动电脑后,先进入字符界面。
然后,输入命令:
sudo service lightdm stop |
现在可以安装驱动了:
cd ~ sudo ./NVIDIA-Linux-x86_64-375.66.run |
(可能会command not found提示用bash,那就sudo bash NVIDIA-Linux-x86_64-375.20.run,或者需要chmod一下),按照提示一步步来~
完成后,再次重启电脑。
安装完成之后输入以下指令进行验证:
sudo nvidia-smi |
若列出了GPU的信息列表则表示驱动安装成功。如下图:
同样使用 gedit 命令打开配置文件:
sudo gedit ~/.bashrc |
打开后在文件最后加入以下两行内容:
export LD_LIBRARY_PATH=/usr/lib/x86_64-linux-gnu:$LD_LIBRARY_PATH
export LD_LIBRARY_PATH=/lib/x86_64-linux-gnu:$LD_LIBRARY_PATH |
保存退出。
CUDA是NVIDIA的编程语言平台,想使用GPU就必须要使用cuda。
(1) 下载CUDA
首先在官网上https://developer.nvidia.com/cuda-downloads下载CUDA。下载CUDA时一定要注意CUDA和NVIDIA显卡驱动的适配性。现在的情况是:CUDA_8.0支持375.**及以上系列的显卡驱动;CUDA_9.0支持384.**及以上系列的显卡驱动;CUDA_9.1支持389.**及以上系列的显卡驱动。本文中的显卡驱动为384.111系列,所以不能下载最新版本的CUDA_9.1,最后下载的是cuda_9.0.176_384.81_linux.run(当然,CUDA_8.0也是没问题的)。下载界面如下图4所示。
需要注意的第一点是,在配置时,vs2013=Microsoft Visual Studio 12.0,vs2015=Microsoft Visual Studio 14.0。建议CUDA9.1使用VS2015,CUDA8.0使用VS2013。本质上并没有区别,但为了区分方便而已。
需要注意的第二点是,两者可以安装在一台电脑上并不冲突。作者在搜索度娘时有人回答:可以同时安装,但必须先安装低版本(CUDA8.0)再安装高版本(CUDA9.0/9.1),对此笔者并没有证实,不知道所言是否正确。
需要注意的第三点是,CUDA8.0对应的cuDNN版本是5.1,CUDA9.0对应的cuDNN7.0。同时,cuDNN可以同时安装在CUDA8.0和9.0中,而cuDNN7.0只能对CUDA9.0及以上适用。
进入 https://developer.nvidia.com/cuda-downloads ,依次选择 CUDA 类型然后下载即可。
然后运行 CUDA 安装文件进行安装,之前我们已经把 CUDA 安装文件移动至 HOME,直接通过 sh 命令运行安装文件即可:
sudo sh cuda_8.0.61_375.26_linux.run |
其中cuda_8.0.61_375.26_linux.run 是我的CUDA 安装文件名,而你需替换为自己的 CUDA 安装文件名,若此时忘记可直接通过 ls 文件查看文件名,这也是我建议把 CUDA 安装文件移动到 HOME 下的另一个原因。
执行此命令约1分钟后会出现 0%信息,此时长按回车键让此百分比增长,直到100%,然后按照提示操作即可,先输入 accept ,然后让选择是否安装 nvidia 驱动,这里的选择对应第3步开头,若未安装则输入 “y”,若确保已安装正确驱动则输入“n”。
剩下的选择则都输入“y”确认安装或确认默认路径安装,开始安装,此时若出现安装失败提示则可能为未关闭桌面服务或在已安装 nvidia 驱动的情况下重复再次安装 nvidia 驱动,安装完成后输入重启命令重启:
Reboot
重启后登录进入系统,配置 CUDA 环境变量,与第3步相同,使用 gedit 命令打开配置文件:
sudo gedit ~/.bashrc |
在该文件最后加入以下两行并保存:
export PATH=/usr/local/cuda-8.0/bin:$PATH export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH |
使该配置生效:
source ~/.bashrc |
(
ubuntu 16.04 安装cuda 8 出现的错误:Missing recommended library: libGLU.so;Missing recommended library: libXmu.so
Installing the CUDA Toolkit in /usr/local/cuda-8.0 ...
Missing recommended library: libGLU.so
Missing recommended library: libXmu.so
Installing the CUDA Samples in /home/qjk ...
Copying samples to /home/qjk/NVIDIA_CUDA-8.0_Samples now...
Finished copying samples.
===========
= Summary =
===========
Driver: Not Selected
Toolkit: Installed in /usr/local/cuda-8.0
Samples: Installed in /home/qjk, but missing recommended libraries
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
原因是缺少相关的依赖库,安装相应库就解决了:
sudo apt-get install freeglut3-dev build-essential libx11-dev libxmu-dev libxi-dev libgl1-mesa-glx libglu1-mesa libglu1-mesa-dev
1
再次安装即可
sudo sh cuda_8.0.61_375.26_linux.run
---------------------
)
分别执行以下命令:
1 | cd /usr/local/cuda-8.0/samples/1_Utilities/deviceQuery |
2 |
|
3 | sudo make |
4 |
|
5 | ./deviceQuery |
若看到类似以下信息则说明 cuda 已安装成功:
登录官网:https://developer.nvidia.com/rdp/cudnn-download ,下载对应 cuda 版本且 Linux 系统的 cudnn 压缩包,注意官网下载 cudnn 需要注册帐号并登录,不想注册的可从我的网盘下载:https://pan.baidu.com/s/1c2xPVzy
下载完成后解压,得到一个 cudn 文件夹,该文件夹下include 和 lib64 两个文件夹,命令行进入 cudn/include 路径下,然后进行以下操作:
sudo cp cudnn.h /usr/local/cuda/include/ #复制头文件 |
然后命令行进入 cudn/lib64 路径下,运行以下命令:
1 | sudo cp lib* /usr/local/cuda/lib64/ #复制动态链接库 |
2 | cd /usr/local/cuda/lib64/sudo rm -rf libcudnn.so libcudnn.so.5 #删除原有动态文件 |
3 | sudo ln -s libcudnn.so.5.1.10 libcudnn.so.5 #生成软衔接 |
4 | sudo ln -s libcudnn.so.5 libcudnn.so #生成软链接 |
这里需要注意第三行命令,网上有人的第三行命令为:
sudo ln -s libcudnn.so.5.1.5 libcudnn.so.5 #生成软衔接 |
起初我执行的也是上条链接 libcudnn.so.5.1.5 的命令,但是后面编译caffe时出错,报错内容为 /usr/bin/ld: 找不到 -lcudnn,所以这里需要先查看一下自己应该链接的是 libcudnn.so.5.1.10 还是 libcudnn.so.5.1.5 ,查看方法为下:
locate libcudnn.so |
我执行完后显示如下:
可以看到我的文件是 libcudnn.so.5.1.10 ,并没有 libcudnn.so.5.1.5,所以第三行命令我链接的是 libcudnn.so.5.1.10 ,这里第三行链接命令视你的查看结果而定。
安装完成后可用 nvcc -V 命令验证是否安装成功,若出现以下信息则表示安装成功:
进入官网 : http://opencv.org/releases.html , 选择 3.1.0 版本的 source , 下载 OpenCV-3.1.0.zip
解压到你要安装的位置,命令行进入已解压的文件夹 opencv-3.1.0 目录下,执行:
并将其解压到你要安装的位置,假设解压到了/home/opencv 1 unzip opencv-3.1.0.zip 2 sudo cp ./opencv-3.1.0 /home 3 sudo mv opencv-3.1.0 opencv 安装前准备,创建编译文件夹: 1 cd ~/opencv 2 mkdir build 3 cd build 配置: 1 sudo apt install cmake 2 sudo cmake -D CMAKE_BUILD_TYPE=Release -D CMAKE_INSTALL_PREFIX=/usr/local .. 编译: sudo make -j8 | |
在执行 make -j8 命令编译到 92% 时可能会出现以下错误:
1 | modules/cudalegacy/src/graphcuts.cpp:120:54: error: |
2 | ‘NppiGraphcutState’ has not been declared |
3 | typedef NppStatus (*init_func_t)(NppiSize oSize, |
4 | NppiGraphcutState** ppState, Npp8u* pDeviceMem); |
问题:由于CUDA 8.0不支持OpenCV的 GraphCut 算法,可能出现以下错误:
进入opencv-3.1.0/modules/cudalegacy/src/目录,修改graphcuts.cpp文件,将:
以上只是将opencv编译成功,还没将opencv安装,需要运行下面指令进行安装:
sudo make install #安装 |
安装完成后通过查看 opencv 版本验证是否安装成功:
pkg-config --modversion opencv |
如果想用python调用opencv,安装python-opencv:
1 | sudo apt-get install python-opencv |
2 | sudo apt-get install python-numpy |
首先在你要安装的路径下 clone :
git clone https://github.com/BVLC/caffe.git |
进入 caffe ,将 Makefile.config.example 文件复制一份并更名为 Makefile.config ,也可以在 caffe 目录下直接调用以下命令完成复制操作 :
sudo cp Makefile.config.example Makefile.config |
复制一份的原因是编译 caffe 时需要的是 Makefile.config 文件,而Makefile.config.example 只是caffe 给出的配置文件例子,不能用来编译 caffe。
然后修改 Makefile.config 文件,在 caffe 目录下打开该文件:
sudo gedit Makefile.config |
修改 Makefile.config 文件内容:
-
应用 cudnn
1 | 将 |
2 | #USE_CUDNN := 1 |
3 | 修改成: |
4 | USE_CUDNN := 1 |
2.应用 opencv 版本
1 | 将 |
2 | #OPENCV_VERSION := 3 |
3 | 修改为: |
4 | OPENCV_VERSION := 3 |
3.使用 Python 接口
1 | 将 |
2 | #WITH_PYTHON_LAYER := 1 |
3 | 修改为 |
4 | WITH_PYTHON_LAYER := 1 |
4.修改 python 路径
1 | INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include |
2 | LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib |
3 | 修改为: |
4 | INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/include/hdf5/serial |
5 | LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib /usr/lib/x86_64-linux-gnu /usr/lib/x86_64-linux-gnu/hdf5/serial |
在/include /usr/之中有一个空格,切记一定要加空格!一定要加空格!一定要加空格!我就是在加上空格之后才顺利完成了编译
然后修改 caffe 目录下的 Makefile 文件:
1 | 将: |
2 | NVCCFLAGS +=-ccbin=$(CXX) -Xcompiler-fPIC $(COMMON_FLAGS) |
3 | 替换为: |
4 | NVCCFLAGS += -D_FORCE_INLINES -ccbin=$(CXX) -Xcompiler -fPIC $(COMMON_FLAGS) |
1 | 将: |
2 | LIBRARIES += glog gflags protobuf boost_system boost_filesystem m hdf5_hl hdf5 |
3 | 改为: |
4 | LIBRARIES += glog gflags protobuf boost_system boost_filesystem m hdf5_serial_hl hdf5_serial |
然后修改 /usr/local/cuda/include/host_config.h 文件 :sudo gedit host_config.h修改只读文件
1 | 将 |
2 | #error-- unsupported GNU version! gcc versions later than 4.9 are not supported! |
3 | 改为 |
4 | //#error-- unsupported GNU version! gcc versions later than 4.9 are not supported! |
OK ,可以开始编译了,在 caffe 目录下执行 :
make all -j8 |
这是如果之前的配置或安装出错,那么编译就会出现各种各样的问题,所以前面的步骤一定要细心。
出现问题
解决方法
所需的libcudart.so.8.0如果正确安装的话,以下两种方法同理:
1. sudo ldconfig /usr/local/cuda-8.0/lib64(成功)
(转自libcudart.so.8.0: cannot open shared object file: No such file or directory)
2.
可以到/etc/ld.so.conf.d目录下,修改其中任意一份conf文件,(可以自建conf,以方便识别)将lib所在目录写进去,然后在终端输入 ldconfig 更新缓存。
本文该lib文件在/usr/local/cuda/lib64下,因此在/etc/ld.so.conf.d 创建了一个cuda.conf 文件,并加入/usr/local/cuda/lib64 内容,保存退出。
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda-8.0/lib64
。如果仍然不行,再尝试执行:export PATH=$PATH:/usr/local/cuda-8.0/bin
export LIBRARY_PATH=$LIBRARY_PATH:/usr/local/cuda-8.0/lib64
source /etc/profile
最后执行:sudo ldconfig 使文件生效
编译成功后可运行测试:
sudo make runtest -j8 |
如果显示结果为上图所示,则表示 caffe 已经成功安装。
在上一步成功安装 caffe 之后,就可以通过 caffe 去做训练数据集或者预测各种相关的事了,只不过需要在命令行下通过 caffe 命令进行操作,而这一步 pycaffe 的安装以及 notebook 环境配置只是为了更方便的去使用 caffe ,实际上大多数都是通过 python 来操作 caffe 的,而 notebook 使用浏览器作为界面,可以更方便的编写和执行 python 代码。
首先编译 pycaffe :
1 | cd caffe |
2 |
|
3 | sudo make pycaffe -j8 |
以下是我编译 pycaffe 时出现的错误:
python/caffe/_caffe.cpp:10:31: fatal error: numpy/arrayobject.h: 没有那个文件或目录 |
解决方法:
sudo apt-get install python-numpy |
此外也可能是由于 Makefile.config 文件中 python 路径设置错误出现的错误,可根据上一步检查一下,也可能出现别的错误,百度谷歌之~
在caffe-master目录下:
$ sudo make pycaffe
如果出现“make: Nothing to be done for `pycaffe'.”
使用
$ sudo make clean
之后运行
$ sudo make pycaffe
然后在命令行输入python;再输入import caffe就可以成功啦。
编译 pycaffe 成功后,验证一下是否可以在 python 中导入 caffe 包,首先进入 python 环境:
python |
然后导入 caffe :
>>> import caffe |
若不报错则表示 caffe 的 python 接口已正确编译,但是应该不会那么顺利,以下是我导入 caffe 时出现的错误:
错误1:
File "<stdin>", line 1, in <module> ImportError: No module named caffe |
解决方法:
1 | sudo echo export PYTHONPATH="~/caffe/python" >> ~/.bashrc |
2 |
|
3 | source ~/.bashrc |
错误2:
ImportError: No module named skimage.io |
解决方法:
pip install -U scikit-image #若没有安装pip: sudo apt install python-pip |
此处说的很简略。假设你已经初步掌握 caffe 的用法。
# cd ~/caffe |
# sudo sh data/mnist/get_mnist.sh |
# sudo sh examples/mnist/create_mnist.sh |
# sudo sh examples/mnist/train_lenet.sh |
感受1080开启cuDNN模式的强大吧:
caffe 例程结果
参考资料:(主参考)Ubuntu16.04 Caffe 安装步骤记录(超详尽)
Ubuntu16.04 14.04安装配置Caffe(GPU版)
安装配置 Ubuntu 14.04 + CUDA8.0 + cuDNN v5 + caffe
安装流程细分为如下10个步骤,细化步骤粒度更易避免出错:
1、安装依赖包
4、配置环境变量
10、安装 caffe
11、安装 pycaffe接口环境和python-opencv的接口环境
12、测试
1. 安装相关依赖项
1 | sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libhdf5-serial-dev protobuf-compiler |
2 | sudo apt-get install --no-install-recommends libboost-all-dev |
3 | sudo apt-get install libopenblas-dev liblapack-dev libatlas-base-dev |
4 | sudo apt-get install libgflags-dev libgoogle-glog-dev liblmdb-dev |
2. 禁用 nouveau 驱动
打开终端,输入$ sudo gedit /etc/modprobe.d/blacklist-nouveau.conf,输入
blacklist nouveau options nouveau modset=0 |
保存退出,执行$ sudo update-initramfs -u,禁用结束。重启电脑。
验证驱动是否禁用成功:
输入$ sudo lspci | grep nouveau,如果没有内容,则禁用成功。
3.安装NVIDIA驱动
(1) 查询NVIDIA驱动
首先去官网 http://www.nvidia.com/Download/index.aspx?lang=en-us 查看适合自己显卡的驱动并下载:驱动文件后缀名应当是以.run结尾的。我们要把这个文件移动到根目录下,原因是下面我们要切换到字符界面下,如果放到~/下载 下面,我们没有办法进入下载这个目录(没有中文输入法,且中文全部是乱码)
点击右边的search进入下载页面
我下载后的驱动文件是:NVIDIA-Linux-x86_64-375.66.run
(2)安装驱动
这里要尤其注意,安装显卡驱动要先切换到文字界面,(按Ctrl+Alt+F1~F6).所以,启动电脑后,先进入字符界面。
然后,输入命令:
sudo service lightdm stop |
现在可以安装驱动了:
cd ~ sudo ./NVIDIA-Linux-x86_64-375.66.run |
(可能会command not found提示用bash,那就sudo bash NVIDIA-Linux-x86_64-375.20.run,或者需要chmod一下),按照提示一步步来~
完成后,再次重启电脑。
安装完成之后输入以下指令进行验证:
sudo nvidia-smi |
若列出了GPU的信息列表则表示驱动安装成功。如下图:
4. 配置环境变量
同样使用 gedit 命令打开配置文件:
sudo gedit ~/.bashrc |
打开后在文件最后加入以下两行内容:
export LD_LIBRARY_PATH=/usr/lib/x86_64-linux-gnu:$LD_LIBRARY_PATH
export LD_LIBRARY_PATH=/lib/x86_64-linux-gnu:$LD_LIBRARY_PATH |
保存退出。
5. 下载 CUDA 8.0
进入 https://developer.nvidia.com/cuda-downloads ,依次选择 CUDA 类型然后下载即可。
6. 安装CUDA8.0
然后运行 CUDA 安装文件进行安装,之前我们已经把 CUDA 安装文件移动至 HOME,直接通过 sh 命令运行安装文件即可:
sudo sh cuda_8.0.61_375.26_linux.run |
其中cuda_8.0.61_375.26_linux.run 是我的CUDA 安装文件名,而你需替换为自己的 CUDA 安装文件名,若此时忘记可直接通过 ls 文件查看文件名,这也是我建议把 CUDA 安装文件移动到 HOME 下的另一个原因。
执行此命令约1分钟后会出现 0%信息,此时长按回车键让此百分比增长,直到100%,然后按照提示操作即可,先输入 accept ,然后让选择是否安装 nvidia 驱动,这里的选择对应第3步开头,若未安装则输入 “y”,若确保已安装正确驱动则输入“n”。
剩下的选择则都输入“y”确认安装或确认默认路径安装,开始安装,此时若出现安装失败提示则可能为未关闭桌面服务或在已安装 nvidia 驱动的情况下重复再次安装 nvidia 驱动,安装完成后输入重启命令重启:
Reboot
重启后登录进入系统,配置 CUDA 环境变量,与第3步相同,使用 gedit 命令打开配置文件:
sudo gedit ~/.bashrc |
在该文件最后加入以下两行并保存:
export PATH=/usr/local/cuda-8.0/bin:$PATH export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH |
使该配置生效:
source ~/.bashrc |
7. 验证CUDA是否安装成功
分别执行以下命令:
1 | cd /usr/local/cuda-8.0/samples/1_Utilities/deviceQuery |
2 |
|
3 | sudo make |
4 |
|
5 | ./deviceQuery |
若看到类似以下信息则说明 cuda 已安装成功:
8. 安装 cudnn
登录官网:https://developer.nvidia.com/rdp/cudnn-download ,下载对应 cuda 版本且 Linux 系统的 cudnn 压缩包,注意官网下载 cudnn 需要注册帐号并登录,不想注册的可从我的网盘下载:https://pan.baidu.com/s/1c2xPVzy
下载完成后解压,得到一个 cudn 文件夹,该文件夹下include 和 lib64 两个文件夹,命令行进入 cudn/include 路径下,然后进行以下操作:
sudo cp cudnn.h /usr/local/cuda/include/ #复制头文件 |
然后命令行进入 cudn/lib64 路径下,运行以下命令:
1 | sudo cp lib* /usr/local/cuda/lib64/ #复制动态链接库 |
2 | cd /usr/local/cuda/lib64/sudo rm -rf libcudnn.so libcudnn.so.5 #删除原有动态文件 |
3 | sudo ln -s libcudnn.so.5.1.10 libcudnn.so.5 #生成软衔接 |
4 | sudo ln -s libcudnn.so.5 libcudnn.so #生成软链接 |
这里需要注意第三行命令,网上有人的第三行命令为:
sudo ln -s libcudnn.so.5.1.5 libcudnn.so.5 #生成软衔接 |
起初我执行的也是上条链接 libcudnn.so.5.1.5 的命令,但是后面编译caffe时出错,报错内容为 /usr/bin/ld: 找不到 -lcudnn,所以这里需要先查看一下自己应该链接的是 libcudnn.so.5.1.10 还是 libcudnn.so.5.1.5 ,查看方法为下:
locate libcudnn.so |
我执行完后显示如下:
可以看到我的文件是 libcudnn.so.5.1.10 ,并没有 libcudnn.so.5.1.5,所以第三行命令我链接的是 libcudnn.so.5.1.10 ,这里第三行链接命令视你的查看结果而定。
安装完成后可用 nvcc -V 命令验证是否安装成功,若出现以下信息则表示安装成功:
9. 安装 opencv3.1
进入官网 : http://opencv.org/releases.html , 选择 3.1.0 版本的 source , 下载 OpenCV-3.1.0.zip
解压到你要安装的位置,命令行进入已解压的文件夹 opencv-3.1.0 目录下,执行:
1 | mkdir build # 创建编译的文件目录 |
2 |
|
3 | cd build |
4 |
|
5 | cmake -D CMAKE_BUILD_TYPE=Release -D CMAKE_INSTALL_PREFIX=/usr/local .. |
6 |
|
7 | make -j8 #编译 |
在执行 make -j8 命令编译到 92% 时可能会出现以下错误:
1 | modules/cudalegacy/src/graphcuts.cpp:120:54: error: |
2 | ‘NppiGraphcutState’ has not been declared |
3 | typedef NppStatus (*init_func_t)(NppiSize oSize, |
4 | NppiGraphcutState** ppState, Npp8u* pDeviceMem); |
这是由于opecv3.1与cuda8.0不兼容导致的。解决办法:
修改 /opencv-3.1.0/modules/cudalegacy/src/graphcuts.cpp 文件内容,如图:
其中, #if !defined (HAVE_CUDA) || defined (CUDA_DISABLER)||(CUDART_VERSION>=8000) 是我们修改的。以上只是将opencv编译成功,还没将opencv安装,需要运行下面指令进行安装:
sudo make install #安装 |
安装完成后通过查看 opencv 版本验证是否安装成功:
pkg-config --modversion opencv |
如果想用python调用opencv,安装python-opencv:
1 | sudo apt-get install python-opencv |
2 | sudo apt-get install python-numpy |
10. 安装 caffe
首先在你要安装的路径下 clone :
git clone https://github.com/BVLC/caffe.git |
进入 caffe ,将 Makefile.config.example 文件复制一份并更名为 Makefile.config ,也可以在 caffe 目录下直接调用以下命令完成复制操作 :
sudo cp Makefile.config.example Makefile.config |
复制一份的原因是编译 caffe 时需要的是 Makefile.config 文件,而Makefile.config.example 只是caffe 给出的配置文件例子,不能用来编译 caffe。
然后修改 Makefile.config 文件,在 caffe 目录下打开该文件:
sudo gedit Makefile.config |
修改 Makefile.config 文件内容:
-
应用 cudnn
1 | 将 |
2 | #USE_CUDNN := 1 |
3 | 修改成: |
4 | USE_CUDNN := 1 |
2.应用 opencv 版本
1 | 将 |
2 | #OPENCV_VERSION := 3 |
3 | 修改为: |
4 | OPENCV_VERSION := 3 |
3.使用 Python 接口
1 | 将 |
2 | #WITH_PYTHON_LAYER := 1 |
3 | 修改为 |
4 | WITH_PYTHON_LAYER := 1 |
4.修改 python 路径
1 | INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include |
2 | LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib |
3 | 修改为: |
4 | INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/include/hdf5/serial |
5 | LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib /usr/lib/x86_64-linux-gnu /usr/lib/x86_64-linux-gnu/hdf5/serial |
然后修改 caffe 目录下的 Makefile 文件:
1 | 将: |
2 | NVCCFLAGS +=-ccbin=$(CXX) -Xcompiler-fPIC $(COMMON_FLAGS) |
3 | 替换为: |
4 | NVCCFLAGS += -D_FORCE_INLINES -ccbin=$(CXX) -Xcompiler -fPIC $(COMMON_FLAGS) |
1 | 将: |
2 | LIBRARIES += glog gflags protobuf boost_system boost_filesystem m hdf5_hl hdf5 |
3 | 改为: |
4 | LIBRARIES += glog gflags protobuf boost_system boost_filesystem m hdf5_serial_hl hdf5_serial |
然后修改 /usr/local/cuda/include/host_config.h 文件 :
1 | 将 |
2 | #error-- unsupported GNU version! gcc versions later than 4.9 are not supported! |
3 | 改为 |
4 | //#error-- unsupported GNU version! gcc versions later than 4.9 are not supported! |
OK ,可以开始编译了,在 caffe 目录下执行 :
make all -j8 |
这是如果之前的配置或安装出错,那么编译就会出现各种各样的问题,所以前面的步骤一定要细心。
编译成功后可运行测试:
sudo make runtest -j8 |
如果显示结果为上图所示,则表示 caffe 已经成功安装。
11、安装 pycaffe notebook 接口环境
在上一步成功安装 caffe 之后,就可以通过 caffe 去做训练数据集或者预测各种相关的事了,只不过需要在命令行下通过 caffe 命令进行操作,而这一步 pycaffe 的安装以及 notebook 环境配置只是为了更方便的去使用 caffe ,实际上大多数都是通过 python 来操作 caffe 的,而 notebook 使用浏览器作为界面,可以更方便的编写和执行 python 代码。
首先编译 pycaffe :
1 | cd caffe |
2 |
|
3 | sudo make pycaffe -j8 |
以下是我编译 pycaffe 时出现的错误:
python/caffe/_caffe.cpp:10:31: fatal error: numpy/arrayobject.h: 没有那个文件或目录 |
解决方法:
sudo apt-get install python-numpy |
此外也可能是由于 Makefile.config 文件中 python 路径设置错误出现的错误,可根据上一步检查一下,也可能出现别的错误,百度谷歌之~
编译 pycaffe 成功后,验证一下是否可以在 python 中导入 caffe 包,首先进入 python 环境:
python |
然后导入 caffe :
>>> import caffe |
若不报错则表示 caffe 的 python 接口已正确编译,但是应该不会那么顺利,以下是我导入 caffe 时出现的错误:
错误1:
File "<stdin>", line 1, in <module> ImportError: No module named caffe |
解决方法:
1 | sudo echo export PYTHONPATH="~/caffe/python" >> ~/.bashrc |
2 |
|
3 | source ~/.bashrc |
错误2:
ImportError: No module named skimage.io |
解决方法:
pip install -U scikit-image #若没有安装pip: sudo apt install python-pip |
12. 测试
此处说的很简略。假设你已经初步掌握 caffe 的用法。
# cd ~/caffe |
# sudo sh data/mnist/get_mnist.sh |
# sudo sh examples/mnist/create_mnist.sh |
# sudo sh examples/mnist/train_lenet.sh |
感受1080开启cuDNN模式的强大吧:
caffe 例程结果
参考资料:(主参考)Ubuntu16.04 Caffe 安装步骤记录(超详尽)
Ubuntu16.04 14.04安装配置Caffe(GPU版)
安装配置 Ubuntu 14.04 + CUDA8.0 + cuDNN v5 + caffe
安装流程细分为如下10个步骤,细化步骤粒度更易避免出错:
1、安装依赖包
4、配置环境变量
10、安装 caffe
11、安装 pycaffe接口环境和python-opencv的接口环境
12、测试
1. 安装相关依赖项
1 | sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libhdf5-serial-dev protobuf-compiler |
2 | sudo apt-get install --no-install-recommends libboost-all-dev |
3 | sudo apt-get install libopenblas-dev liblapack-dev libatlas-base-dev |
4 | sudo apt-get install libgflags-dev libgoogle-glog-dev liblmdb-dev |
2. 禁用 nouveau 驱动
打开终端,输入$ sudo gedit /etc/modprobe.d/blacklist-nouveau.conf,输入
blacklist nouveau options nouveau modset=0 |
保存退出,执行$ sudo update-initramfs -u,禁用结束。重启电脑。
验证驱动是否禁用成功:
输入$ sudo lspci | grep nouveau,如果没有内容,则禁用成功。
3.安装NVIDIA驱动
(1) 查询NVIDIA驱动
首先去官网 http://www.nvidia.com/Download/index.aspx?lang=en-us 查看适合自己显卡的驱动并下载:驱动文件后缀名应当是以.run结尾的。我们要把这个文件移动到根目录下,原因是下面我们要切换到字符界面下,如果放到~/下载 下面,我们没有办法进入下载这个目录(没有中文输入法,且中文全部是乱码)
点击右边的search进入下载页面
我下载后的驱动文件是:NVIDIA-Linux-x86_64-375.66.run
(2)安装驱动
这里要尤其注意,安装显卡驱动要先切换到文字界面,(按Ctrl+Alt+F1~F6).所以,启动电脑后,先进入字符界面。
然后,输入命令:
sudo service lightdm stop |
现在可以安装驱动了:
cd ~ sudo ./NVIDIA-Linux-x86_64-375.66.run |
(可能会command not found提示用bash,那就sudo bash NVIDIA-Linux-x86_64-375.20.run,或者需要chmod一下),按照提示一步步来~
完成后,再次重启电脑。
安装完成之后输入以下指令进行验证:
sudo nvidia-smi |
若列出了GPU的信息列表则表示驱动安装成功。如下图:
4. 配置环境变量
同样使用 gedit 命令打开配置文件:
sudo gedit ~/.bashrc |
打开后在文件最后加入以下两行内容:
export LD_LIBRARY_PATH=/usr/lib/x86_64-linux-gnu:$LD_LIBRARY_PATH
export LD_LIBRARY_PATH=/lib/x86_64-linux-gnu:$LD_LIBRARY_PATH |
保存退出。
5. 下载 CUDA 8.0
进入 https://developer.nvidia.com/cuda-downloads ,依次选择 CUDA 类型然后下载即可。
6. 安装CUDA8.0
然后运行 CUDA 安装文件进行安装,之前我们已经把 CUDA 安装文件移动至 HOME,直接通过 sh 命令运行安装文件即可:
sudo sh cuda_8.0.61_375.26_linux.run |
其中cuda_8.0.61_375.26_linux.run 是我的CUDA 安装文件名,而你需替换为自己的 CUDA 安装文件名,若此时忘记可直接通过 ls 文件查看文件名,这也是我建议把 CUDA 安装文件移动到 HOME 下的另一个原因。
执行此命令约1分钟后会出现 0%信息,此时长按回车键让此百分比增长,直到100%,然后按照提示操作即可,先输入 accept ,然后让选择是否安装 nvidia 驱动,这里的选择对应第3步开头,若未安装则输入 “y”,若确保已安装正确驱动则输入“n”。
剩下的选择则都输入“y”确认安装或确认默认路径安装,开始安装,此时若出现安装失败提示则可能为未关闭桌面服务或在已安装 nvidia 驱动的情况下重复再次安装 nvidia 驱动,安装完成后输入重启命令重启:
Reboot
重启后登录进入系统,配置 CUDA 环境变量,与第3步相同,使用 gedit 命令打开配置文件:
sudo gedit ~/.bashrc |
在该文件最后加入以下两行并保存:
export PATH=/usr/local/cuda-8.0/bin:$PATH export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH |
使该配置生效:
source ~/.bashrc |
7. 验证CUDA是否安装成功
分别执行以下命令:
1 | cd /usr/local/cuda-8.0/samples/1_Utilities/deviceQuery |
2 |
|
3 | sudo make |
4 |
|
5 | ./deviceQuery |
若看到类似以下信息则说明 cuda 已安装成功:
8. 安装 cudnn
登录官网:https://developer.nvidia.com/rdp/cudnn-download ,下载对应 cuda 版本且 Linux 系统的 cudnn 压缩包,注意官网下载 cudnn 需要注册帐号并登录,不想注册的可从我的网盘下载:https://pan.baidu.com/s/1c2xPVzy
下载完成后解压,得到一个 cudn 文件夹,该文件夹下include 和 lib64 两个文件夹,命令行进入 cudn/include 路径下,然后进行以下操作:
sudo cp cudnn.h /usr/local/cuda/include/ #复制头文件 |
然后命令行进入 cudn/lib64 路径下,运行以下命令:
1 | sudo cp lib* /usr/local/cuda/lib64/ #复制动态链接库 |
2 | cd /usr/local/cuda/lib64/sudo rm -rf libcudnn.so libcudnn.so.5 #删除原有动态文件 |
3 | sudo ln -s libcudnn.so.5.1.10 libcudnn.so.5 #生成软衔接 |
4 | sudo ln -s libcudnn.so.5 libcudnn.so #生成软链接 |
这里需要注意第三行命令,网上有人的第三行命令为:
sudo ln -s libcudnn.so.5.1.5 libcudnn.so.5 #生成软衔接 |
起初我执行的也是上条链接 libcudnn.so.5.1.5 的命令,但是后面编译caffe时出错,报错内容为 /usr/bin/ld: 找不到 -lcudnn,所以这里需要先查看一下自己应该链接的是 libcudnn.so.5.1.10 还是 libcudnn.so.5.1.5 ,查看方法为下:
locate libcudnn.so |
我执行完后显示如下:
可以看到我的文件是 libcudnn.so.5.1.10 ,并没有 libcudnn.so.5.1.5,所以第三行命令我链接的是 libcudnn.so.5.1.10 ,这里第三行链接命令视你的查看结果而定。
安装完成后可用 nvcc -V 命令验证是否安装成功,若出现以下信息则表示安装成功:
9. 安装 opencv3.1
进入官网 : http://opencv.org/releases.html , 选择 3.1.0 版本的 source , 下载 OpenCV-3.1.0.zip
解压到你要安装的位置,命令行进入已解压的文件夹 opencv-3.1.0 目录下,执行:
1 | mkdir build # 创建编译的文件目录 |
2 |
|
3 | cd build |
4 |
|
5 | cmake -D CMAKE_BUILD_TYPE=Release -D CMAKE_INSTALL_PREFIX=/usr/local .. |
6 |
|
7 | make -j8 #编译 |
在执行 make -j8 命令编译到 92% 时可能会出现以下错误:
1 | modules/cudalegacy/src/graphcuts.cpp:120:54: error: |
2 | ‘NppiGraphcutState’ has not been declared |
3 | typedef NppStatus (*init_func_t)(NppiSize oSize, |
4 | NppiGraphcutState** ppState, Npp8u* pDeviceMem); |
这是由于opecv3.1与cuda8.0不兼容导致的。解决办法:
修改 /opencv-3.1.0/modules/cudalegacy/src/graphcuts.cpp 文件内容,如图:
其中, #if !defined (HAVE_CUDA) || defined (CUDA_DISABLER)||(CUDART_VERSION>=8000) 是我们修改的。以上只是将opencv编译成功,还没将opencv安装,需要运行下面指令进行安装:
sudo make install #安装 |
安装完成后通过查看 opencv 版本验证是否安装成功:
pkg-config --modversion opencv |
如果想用python调用opencv,安装python-opencv:
1 | sudo apt-get install python-opencv |
2 | sudo apt-get install python-numpy |
10. 安装 caffe
首先在你要安装的路径下 clone :
git clone https://github.com/BVLC/caffe.git |
进入 caffe ,将 Makefile.config.example 文件复制一份并更名为 Makefile.config ,也可以在 caffe 目录下直接调用以下命令完成复制操作 :
sudo cp Makefile.config.example Makefile.config |
复制一份的原因是编译 caffe 时需要的是 Makefile.config 文件,而Makefile.config.example 只是caffe 给出的配置文件例子,不能用来编译 caffe。
然后修改 Makefile.config 文件,在 caffe 目录下打开该文件:
sudo gedit Makefile.config |
修改 Makefile.config 文件内容:
-
应用 cudnn
1 | 将 |
2 | #USE_CUDNN := 1 |
3 | 修改成: |
4 | USE_CUDNN := 1 |
2.应用 opencv 版本
1 | 将 |
2 | #OPENCV_VERSION := 3 |
3 | 修改为: |
4 | OPENCV_VERSION := 3 |
3.使用 Python 接口
1 | 将 |
2 | #WITH_PYTHON_LAYER := 1 |
3 | 修改为 |
4 | WITH_PYTHON_LAYER := 1 |
4.修改 python 路径
1 | INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include |
2 | LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib |
3 | 修改为: |
4 | INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/include/hdf5/serial |
5 | LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib /usr/lib/x86_64-linux-gnu /usr/lib/x86_64-linux-gnu/hdf5/serial |
然后修改 caffe 目录下的 Makefile 文件:
1 | 将: |
2 | NVCCFLAGS +=-ccbin=$(CXX) -Xcompiler-fPIC $(COMMON_FLAGS) |
3 | 替换为: |
4 | NVCCFLAGS += -D_FORCE_INLINES -ccbin=$(CXX) -Xcompiler -fPIC $(COMMON_FLAGS) |
1 | 将: |
2 | LIBRARIES += glog gflags protobuf boost_system boost_filesystem m hdf5_hl hdf5 |
3 | 改为: |
4 | LIBRARIES += glog gflags protobuf boost_system boost_filesystem m hdf5_serial_hl hdf5_serial |
然后修改 /usr/local/cuda/include/host_config.h 文件 :
1 | 将 |
2 | #error-- unsupported GNU version! gcc versions later than 4.9 are not supported! |
3 | 改为 |
4 | //#error-- unsupported GNU version! gcc versions later than 4.9 are not supported! |
OK ,可以开始编译了,在 caffe 目录下执行 :
make all -j8 |
这是如果之前的配置或安装出错,那么编译就会出现各种各样的问题,所以前面的步骤一定要细心。
编译成功后可运行测试:
sudo make runtest -j8 |
如果显示结果为上图所示,则表示 caffe 已经成功安装。
11、安装 pycaffe notebook 接口环境
在上一步成功安装 caffe 之后,就可以通过 caffe 去做训练数据集或者预测各种相关的事了,只不过需要在命令行下通过 caffe 命令进行操作,而这一步 pycaffe 的安装以及 notebook 环境配置只是为了更方便的去使用 caffe ,实际上大多数都是通过 python 来操作 caffe 的,而 notebook 使用浏览器作为界面,可以更方便的编写和执行 python 代码。
首先编译 pycaffe :
1 | cd caffe |
2 |
|
3 | sudo make pycaffe -j8 |
以下是我编译 pycaffe 时出现的错误:
python/caffe/_caffe.cpp:10:31: fatal error: numpy/arrayobject.h: 没有那个文件或目录 |
解决方法:
sudo apt-get install python-numpy |
此外也可能是由于 Makefile.config 文件中 python 路径设置错误出现的错误,可根据上一步检查一下,也可能出现别的错误,百度谷歌之~
编译 pycaffe 成功后,验证一下是否可以在 python 中导入 caffe 包,首先进入 python 环境:
python |
然后导入 caffe :
>>> import caffe |
若不报错则表示 caffe 的 python 接口已正确编译,但是应该不会那么顺利,以下是我导入 caffe 时出现的错误:
错误1:
File "<stdin>", line 1, in <module> ImportError: No module named caffe |
解决方法:
1 | sudo echo export PYTHONPATH="~/caffe/python" >> ~/.bashrc |
2 |
|
3 | source ~/.bashrc |
错误2:
ImportError: No module named skimage.io |
解决方法:
pip install -U scikit-image #若没有安装pip: sudo apt install python-pip |
12. 测试
此处说的很简略。假设你已经初步掌握 caffe 的用法。
# cd ~/caffe |
# sudo sh data/mnist/get_mnist.sh |
# sudo sh examples/mnist/create_mnist.sh |
# sudo sh examples/mnist/train_lenet.sh |
(如果遇到问题,先清除之前的编译结果:sudo make clean
再重新编译caffe:sudo make all)
感受1080开启cuDNN模式的强大吧:
caffe 例程结果