Linux-Faster-rcnn安装全过程_linux faster rcnn-优快云博客

本文链接：https://blog.youkuaiyun.com/wangjie36/article/details/106045080

Windows环境安装TensorFlow

一：安装python3.5及pip

注：（当前TensorFlow的Windows版本只支持python3.5（已经支持3.6了），否则在pip install TensorFlow时会报错：版本不适合此平台或没有相应的TensorFlow版本）

安装完成python后按照如下安装pip（百度/Google）

二：pip安装TensorFlow（CPU版/GPU版） http://www.cnblogs.com/zlslch/p/6964944.html win7安装tensorflow

GPU版安装步骤:（下面步骤可交换）

1、百度/google windons下安装cuda和cudnn

（当下17年6月2号，TensorFlow1.2仅支持cudnn5.1，安装其他版本可能无法识别。目前2017/10/23,1.3版本将cudnn5.1升级到了6.0）（在win10安装cuda时，选择的安装路径只是临时存放解压文件，安装完成后会自动删除）

cuda和cudnn具体可参考：http://blog.youkuaiyun.com/weixin_36368407/article/details/54177380

2、直接用pip安装

pip install tensorflow-gpu

软件版本及硬件型号

0.1 软件版本

Ubuntu14.04、CUDA8、CUDNN5.1 for CUDA8、opencv3.1、python版本faster-rcnn、GPU版本

0.2 硬件型号

I7四代CPU、内存4G、固态硬盘250G、影驰GTX1070

第1章 ubuntu系统安装过程

1.1 下载ubuntu14.04

下载地址：

http://cdimage.ubuntu.com/netboot/14.04/?_ga=1.104910848.2099103184.1489250975

1.2 制作安装系统U盘

1. 安装UitralSO

2. 制作安装系统U盘

参考网址：http://jingyan.baidu.com/article/19020a0a396b6e529d2842cb.html

1.3 直接U盘安装单系统

1. 到其他选项，分配分区（除了“/”，所有的都分配逻辑分区）

/ ：30G （分配住主分区）

/boot ：200M

swap ：4G（如果够大最好8G）

/home ：剩下的

2. 引导项不用更改，默认就行

参考网址：

http://www.jianshu.com/p/2eebd6ad284d

http://bbs.51cto.com/thread-966627-1.html

1.4 更新软件源

参考网址：http://www.linuxidc.com/Linux/2014-04/100476.htm

选择“阿里”或“163”的镜像源，如果出现软件无法update，很可能是软件源的问题，更换软件源可以解决问题

1.5 安装搜狗输入法（非必要）

参考网址：http://jingyan.baidu.com/article/ad310e80ae6d971849f49ed3.html

1.6 安装chromeium（非必要）

1. 在软件中心中安装chromium

2. 需要安装chromium flash插件

待续

第2章安装相关依赖及NVIDIA显卡驱动

2.1 安装相关依赖项

1. sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libhdf5-serial-dev protobuf-compiler

2. sudo apt-get install --no-install-recommends libboost-all-dev

3. sudo apt-get install libopenblas-dev liblapack-dev libatlas-base-dev

4. sudo apt-get install libgflags-dev libgoogle-glog-dev liblmdb-dev

2.2 查询NVIDIA驱动

首先去官网(http://www.nvidia.com/Download/index.aspx?lang=en-us)查看适合自己显卡的驱动：

我下载的驱动版本如下：

2.3 安装NVIDIA驱动（上传版需更去掉用户密码）

1. 安装之前先卸载已经存在的驱动版本：

sudo apt-get remove --purge nvidia*

2. 若电脑是集成显卡（NVIDIA独立显卡忽略此步骤），需要在安装之前禁止一项：

sudo service lightdm stop

3. 按ALT+CTRL+F1切换到字符界面（按ALT+CTRL+F7切换到图形界面）

切换到字符界面后需要登录：

用户名：

密码：

按回车进行登录

4. 安装时把驱动文件放在home下（进入字符界面前），不需要cd切换目录，执行以下指令安装驱动：

sudo add-apt-repository ppa:xorg-edgers/ppa

sudo apt-get update

chmod +x ./NVIDIA-Linux-x86_64-375.39.run（chmod指令是给管理员权限）

sudo ./NVIDIA-Linux-x86_64-375.39.run

5. 安装完成之后输入以下指令进行验证，若列出了GPU的信息列表则表示驱动安装成功：

sudo nvidia-smi

6. 安装完成后，开启图形界面：

sudo start lightdm

（关闭图形界面：sudo stop lightdm）

第3章安装CUDA

3.1 下载CUDA

CUDA是NVIDIA的编程语言平台，想使用GPU就必须要使用cuda

首先在官网上(https://developer.nvidia.com/cuda-downloads)下载CUDA：

3.2 安装CUDA

1. 下载完成后执行以下命令：

sudo sh cuda_8.0.61_375.26_linux.run

2. 之后界面会出现‘更多0%’，一直按回车；这里需要注意其中一个地方需要填写 N 才行，不能写 Y 。因为不需要再安装一次显卡的驱动，如图

3.3 配置环境变量

1. 打开~/.bashrc文件：

sudo gedit ~/.bashrc

2. 将以下内容写入到~/.bashrc尾部：

export PATH=/usr/local/cuda-8.0/bin${PATH:+:${PATH}}

export LD_LIBRARY_PATH=/usr/local/cuda8.0/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

3. 退出后

source ~/.bashrc

3.4 测试CUDA的sammples

cd /usr/local/cuda-8.0/samples/1_Utilities/deviceQuery #由自己电脑目录决定

sudo make

sudo ./deviceQuery

3.5 参考网址

1. http://blog.youkuaiyun.com/xuzhongxiong/article/details/52717285

2. http://blog.youkuaiyun.com/baidu_32173921/article/details/53510764

第4章安装cuDNN

4.1 下载cuDNN（上传版需更去掉账号密码）

cuDNN是GPU加速计算深层神经网络的库

首先去官网(https://developer.nvidia.com/rdp/cudnn-download)下载cuDNN，需要注册一个账号才能下载：

账号：

密码：

4.2 安装cuDNN

1. 下载cuDNN5.1后直接在home下进行解压（解压后的文件名叫cuda）

2. cd到include目录下：cd /home/jc/cuda/include

sudo cp cudnn.h /usr/local/cuda/include/ #复制头文件

3. 再cd进入lib64目录下的动态文件进行复制和链接：

cd /home/jc/cuda/lib64

sudo cp lib* /usr/local/cuda/lib64/ #复制动态链接库

cd /usr/local/cuda/lib64/

sudo rm -rf libcudnn.so libcudnn.so.5 #删除原有动态文件

sudo ln -s libcudnn.so.5.1.10 libcudnn.so.5 #生成软衔接（注意里面的5.1.10要根据自己下载的版本而定）

sudo ln -s libcudnn.so.5 libcudnn.so #生成软链接

4.3 参考网址

1. http://blog.youkuaiyun.com/xuzhongxiong/article/details/52717285

2. http://blog.youkuaiyun.com/baidu_32173921/article/details/53510764

第5章安装opencv3.1

5.1 安装所需的库

1 [compiler] sudo apt-get install build-essential

2 [required] sudo apt-get install cmake git libgtk2.0-dev pkg-config libavcodec-dev libavformat-dev libswscale-dev

3 [optional] sudo apt-get install python-dev python-numpy libtbb2 libtbb-dev libjpeg-dev libpng-dev libtiff-dev libjasper-dev libdc1394-22-dev

5.2 下载opencv3.1

从官网下载http://opencv.org/releases.html，选3.10-Sources

5.3 编译opencv

1. 将opencv3.1放到home下进行解压

2. 修改～/opencv/modules/cudalegacy/src/graphcuts.cpp文件内容，如图：

改为：#if !defined (HAVE_CUDA) || defined (CUDA_DISABLER) || (CUDART_VERSION>=8000)

如果不操作会出现如下错误：

这是因为opencv3.1.0与cuda8.0不兼容导致的

3. 进行编译

cd ~/opencv-3.1.0

mkdir release

cd release

cmake –D CUDA_NVCC_FLAGS=--Wno-deprecated-gpu-targets -D CMAKE_BUILD_TYPE=RELEASE -D CMAKE_INSTALL_PREFIX=/usr/local ..

（为了消除NVCC警告，-D CUDA_NVCC_FLAGS=--Wno-deprecated-gpu-targets用于指定CUDA编译器(nvcc)的编译选项，如果不指定--Wno-deprecated-gpu-targets选项则在编译Caffe时会产生如下编译警告：

nvcc warning : The ‘compute_20’, ‘sm_20’, and ‘sm_21’ architectures are deprecated, and may be removed in a future release (Use -Wno-deprecated-gpu-targets to suppress warning).）

(cmake成功后会有提示)

make –j8 (GPU加速make)

sudo make install

5.4 参考网址

1. http://www.tuicool.com/articles/nYJrYra

2. http://blog.youkuaiyun.com/xuzhongxiong/article/details/52717285

第6章安装caffe

6.1 从github上获取caffe：

git clone https://github.com/BVLC/caffe.git

6.2 makefile.config

因为make指令只能make Makefile.config文件，而Makefile.config.example是caffe给出的makefile例子，因此，首先将Makefile.config.example的内容复制到Makefile.config：

cd ./home/jc/caffe

sudo cp Makefile.config.example Makefile.config

6.3 打开并修改配置文件：

打开Makefile.config文件

cd ./home/jc/caffe

sudo gedit Makefile.config

根据个人情况修改文件：

a. 若使用cudnn，则

将

#USE_CUDNN := 1

修改成：

USE_CUDNN := 1

b. 若使用的opencv版本是3的，则

将

#OPENCV_VERSION := 3

修改为：

OPENCV_VERSION := 3

c. 若要使用Python来编写layer，则

将

#WITH_PYTHON_LAYER := 1

修改为

WITH_PYTHON_LAYER := 1

d. 重要的一项（我的是14.04不需要改） :

将# Whatever else you find you need goes here.下面的

INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include

LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib

修改为：

INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/include/hdf5/serial

LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib /usr/lib/x86_64-linux-gnu /usr/lib/x86_64-linux-gnu/hdf5/serial

（这是因为ubuntu16.04的文件包含位置发生了变化，尤其是需要用到的hdf5的位置，所以需要更改这一路径.）

6.4 修改makefile文件

打开makefile文件（caffe文件夹下，直接打开），做如下修改：

将：

NVCCFLAGS +=-ccbin=$(CXX) -Xcompiler-fPIC $(COMMON_FLAGS)

替换为：

NVCCFLAGS += -D_FORCE_INLINES -ccbin=$(CXX) -Xcompiler -fPIC $(COMMON_FLAGS)

6.5 编辑/usr/local/cuda/include/host_config.h将其中的第115行注释掉：

sudo gedit /usr/local/cuda/include/host_config.h

将

#error -- unsupported GNU version! gcc versions later than 4.9 are not supported!

改为

//#error -- unsupported GNU version! gcc versions later than 4.9 are not supported!

6.6 将一些文件复制到/usr/local/lib文件夹下

#注意自己CUDA的版本号，到该文件夹下查处找对应标号

sudo cp /usr/local/cuda-8.0/lib64/libcudart.so.8.0 /usr/local/lib/libcudart.so.8.0 && sudo ldconfig

sudo cp /usr/local/cuda-8.0/lib64/libcublas.so.8.0 /usr/local/lib/libcublas.so.8.0 && sudo ldconfig

sudo cp /usr/local/cuda-8.0/lib64/libcurand.so.8.0 /usr/local/lib/libcurand.so.8.0 && sudo ldconfig

如果未操作该步骤可能会出现如下错误：

"libcudart.so.8.0 cannot open shared object file: No such file or directory"

6.7 将一些文件复制到/usr/local/lib文件夹下

#注意自己CUDA的版本号，到该文件夹下查处找对应标号

sudo cp /usr/local/cuda-8.0/lib64/libcudnn.so /usr/local/lib/libcudnn.so && sudo ldconfig

sudo cp /usr/local/cuda-8.0/lib64/libcudnn.so.5 /usr/local/lib/libcudnn.so.5 && sudo ldconfig

sudo cp /usr/local/cuda-8.0/lib64/libcudnn.so.5.1.10 /usr/local/lib/libcudnn.so.5.1.10 && sudo ldconfig

6.8 编译及测试

1. 编译

cd /home/jc/caffe

make all –j8

2. 测试

sudo make –j8 runtest

如果运行之后出现下图说明运行成功

6.9 MNIST数据集测试

配置caffe完成后，我们可以利用MNIST数据集对caffe进行测试，过程如下：

1. 将终端定位到Caffe根目录

cd ~/caffe

2. 下载MNIST数据库并解压缩

./data/mnist/get_mnist.sh

3.将其转换成Lmdb数据库格式

./examples/mnist/create_mnist.sh

4.训练网络

./examples/mnist/train_lenet.sh

5. 训练结果

训练的时候可以看到损失与精度数值，如下图：

可以看到最终训练精度是0.9914

6.10 若之前已经编译过caffe

1. 若之前已经编译过caffe，直接把该caffe目录拷贝过来，安装必备的库及可运行程序，若提示“.py文件没有权限”，则用“chmod +x”赋予权限。（如果没成功，重新编译~/caffe）

6.11 参考网址

1. http://blog.youkuaiyun.com/u014696921/article/details/60140264

2. http://blog.youkuaiyun.com/xuzhongxiong/article/details/52717285

第7章 faster rcnn安装

7.1 软件源无法更新

参考网址：http://blog.youkuaiyun.com/loovejava/article/details/21837935

7.2 安装pip

sudo apt-get install python-pip

可能出现问题：

下列软件包有未满足的依赖关系： python-pip : 依赖: python-setuptools (>= 0.6c1) 但是它将不会被安装推荐: python-dev-all (>= 2.6) 但无法安装它 E: 无法修正错误，因为您要求某些软件包保持现状，就是它们破坏了软件包间的依赖关系。

解决方法：

1. 安装aptitude工具

sudo apt-get install aptitude

2. sudo aptitude install python-pip

下列动作将解决这些依赖关系：保持下列软件包于其当前版本：

1) python-pip [未安装的]

2) python-setuptools [未安装的]

3. 选项

是否接受该解决方案？[Y/n/q/?] n

下列动作将解决这些依赖关系：

降级下列软件包：

1) python-pkg-resources [3.3-1ubuntu2 (now) -> 3.3-1ubuntu1 (trusty)]

是否接受该解决方案？[Y/n/q/?] Y

下列软件包将被“降级”：

python-pkg-resources

下列“新”软件包将被安装。

python-colorama{a} python-distlib{a} python-html5lib{a} python-pip

python-setuptools{a}

0 个软件包被升级，新安装 5 个， 1 个被降级， 0 个将被删除，同时 0 个将不升级。

需要获取 604 kB 的存档。解包后将要使用 2,513 kB。

您要继续吗？[Y/n/?] Y

7.3 安装python依赖包

sudo pip install Cython

sudo pip install easydict

sudo apt-get install python-opencv

7.4 下载源代码，修改并编译cython

1. 下载源代码

git clone --recursive https://github.com/rbgirshick/py-faster-rcnn.git

2. 修改并编译cython

cd py-faster-rcnn/lib

修改setup.py文件第135行

'nvcc': ['-arch=sm_35',

根据自己的显卡计算能力进行修改,查询网址为:CUDA GPUs

因为是gtx1070，所以改为：

'nvcc': ['-arch=sm_61',

3. 保存后执行

make –j8

7.5 编译faster前的准备工作

1. 修改Makefile.config文件

cd /home/jc/py-faster-rcnn/caffe-faster-rcnn

执行：

cp Makefile.config.example Makefile.config

对Makefile.config文件进行修改.

将

# USE_CUDNN := 1

# WITH_PYTHON_LAYER := 1

改为

USE_CUDNN := 1

WITH_PYTHON_LAYER := 1

注：# USE_PKG_CONFIG := 1一定不要改，否则会出现如下错误：

/usr/bin/ld: cannot find –lip…

2. 修改cudnn加速文件

这里需要注意一下，因为作者的caffe版本不支持新的cudnn加速，我们需要用caffe-master版的文件去替换faster中的文件，这样编译就不会出错啦。

a. caffe中的文件位置

/home/jc/caffe/ include/caffe/util/cudnn.hpp

/home/jc/caffe/ src/caffe/util/cudnn.cpp

/home/jc/caffe/ src/caffe/ layers/ #目录下16个cudnn_开头的文件

/home/jc/caffe/include/caffe/layers/ #目录下8个cudnn_开头的文件

b. faster rcnn中的文件位置

/home/jc/py-faster-rcnn/caffe-fast-rcnn/include/caffe/util/cudnn.hpp

/home/jc/py-faster-rcnn/caffe-fast-rcnn/src/caffe/util/cudnn.cpp

/home/jc/py-faster-rcnn/caffe-fast-rcnn/src/caffe/layers/ #目录下16个cudnn_开头的文件

/home/jc/py-faster-rcnn/caffe-fast-rcnn/include/caffe/layers/ #目录下8个cudnn_开头的文件

3. 修改一个include错误

打开py-faster-rcnn/caffe-fast-rcnn/src/caffe/test/test_smooth_L1_loss_layer.cpp

删除第十一行

#include "caffe/vision_layers.hpp"

4. 修改无法引用opencv错误

打开/home/jc/py-faster-rcnn/caffe-fast-rcnn/Makefile文件，将

LIBRARIES += glog gflags protobuf boost_system boost_filesystem m hdf5_hl hdf5

改为

LIBRARIES += glog gflags protobuf boost_system boost_filesystem m hdf5_hl hdf5 m

opencv_core opencv_highgui opencv_imgproc opencv_imgcodecs

如果不进行改动，则会出现：

‘CV::imread(cv::String const&, int)’未定义引用等错误

7.6 编译faster

仍然在cd /home/jc/py-faster-rcnn/caffe-fast-rcnn下

# compile Caffe modules

make -j8 all

make -j8 test

# run tests to ensure all the tests are passed

make –j8 runtest

# build pycaffe

make –j8 pycaffe

7.7 下载已经训练好的模型

（注：cd $FRCN_ROOT 这不是指令，告诉你转到FRCN的根目录下）

cd /home/jc/py-faster-rcnn

./data/scripts/fetch_faster_rcnn_models.sh #下载数据

7.8 执行demo

0. 安装所有的包都需要在根目录下进行

1. 安装easydict

sudo pip install easydict

若不安装会出现如下错误：

ImportError: No module named easydict

2. 安装scikit-image

sudo pip install –U scikit-image

若不安装会出现如下错误：

ImportError: No module named skimage.io

3. 安装scipy

sudo apt-get install python-scipy

4.安装pyparsing

sudo apt-get install python-pyparsing

5. 安装cycler

sudo pip install cycler

6. 安装dateutil

sudo pip install python-dateutil

7. ImportError: No module named google.protobuf.internal

sudo apt-get install python-numpy python-scipy python-matplotlib python-sklearn python-skimage python-h5py python-protobuf python-leveldb python-networkx python-nose python-pandas python-gflags Cython ipython

sudo apt-get install protobuf-c-compiler protobuf-compiler

8. sudo pip install functools32

9. sudo apt-get install python-yaml

10. 参考网址：http://blog.youkuaiyun.com/liyaohhh/article/details/50876777

11. 执行demo：

cd py-faster-rcnn/tools

./demo.py

7.9 若之前已经编译过faster-rcnn

1. 若之前已经编译过faster-rcnn目录，直接把该faster-rcnn目录拷贝过来，安装必备的库及可运行程序，若提示“.py文件没有权限”，则用“chmod +x”赋予权限。（如果没成功，重新编译~/lib和~/caffe-fast-rcnn）

7.10 参考网址

1. https://www.douban.com/note/568788483/

2. http://blog.youkuaiyun.com/xuzhongxiong/article/details/52717285