在Linux 之redhat/debian两类系统上源码成功安装tensorflow填坑记录

在Linux 之redhat/debian两类系统上源码成功安装tensorflow填坑记录




1. 预备工作：
1.1 各类依赖
无论是redhat系/centos还是debian系/ubuntu，都需要安装各类依赖库


不能使用openjdk，必须使用oracle官方的jdk1.8.0
centos上yum或者rpm安装如下各类以来


yum -y install gcc
yum -y install gcc-c++
yum -y install numpy swig Python-devel python-wheel 
//python-wheel 用的是rpm包，如上命令无法搜到wheel库源
yum -y install zlib zlib-devel
安装pip 用的是rpm包


1.2可用分支选择


bazel用的是master分支。也可以采用0.3.2/0.4.0. 
tensorflow用的是r0.10分支。 r0.11/master分支有很多问题，主要是./configure 有一些包的地址无法下载成功。


2. bazel 安装
源码安装bazel，使用./compile.sh 安装即可。 各类依赖安装完成的情况下，centos和ubuntu上都没有遇到编译问题。


3. tensorflow build及install过程


3.1 r0.11需要修复如下两个问题，解决testonly报错和jpegsrc.v9a.tar.gz下载失败问题。


diff --git a/tensorflow/python/BUILD b/tensorflow/python/BUILD
index 5e2621c..b28260e 100644
--- a/tensorflow/python/BUILD
+++ b/tensorflow/python/BUILD
@@ -1190,7 +1190,7 @@ py_library(
 # Just used by tests.
 tf_cuda_library(
     name = "construction_fails_op",
-    testonly = 1,
+   #testonly = 1,
     srcs = ["client/test_construction_fails_op.cc"],
     deps = [
         "//tensorflow/core",
diff --git a/tensorflow/workspace.bzl b/tensorflow/workspace.bzl
index d917562..1ddce3c 100644
--- a/tensorflow/workspace.bzl
+++ b/tensorflow/workspace.bzl
@@ -54,8 +54,9 @@ def tf_workspace(path_prefix = "", tf_repo_name = ""):
 
   native.new_http_archive(
     name = "jpeg_archive",
-    url = "http://www.ijg.org/files/jpegsrc.v9a.tar.gz",
-    sha256 = "3a753ea48d917945dd54a2d97de388aa06ca2eb1066cbfdc6652036349fe05a7",
+    #url = "http://www.ijg.org/files/jpegsrc.v9a.tar.gz",
+     url = "http://www.imagemagick.org/download/delegates/jpegsrc.v9a.tar.gz",
+       sha256 = "3a753ea48d917945dd54a2d97de388aa06ca2eb1066cbfdc6652036349fe05a7",
     build_file = path_prefix + "jpeg.BUILD",




3.2 build过程
网速是影响build的关键因素，build脚本不会长时间等待各类包的下载重新连接过错。
反复尝试几次编译，解决了three.js-r77.tar.gz下载问题。主要是境外网站源的网速不好把握，换个时段会表现较好。


//在ubuntu上，按照默认的job数目200进行build发生了卡死现象。 在centos上docker编译没有遇到此问题。
$ bazel build -c opt //tensorflow/tools/pip_package:build_pip_package


//指定job数目为1,问题解决。
$ bazel build -c opt --job 1 //tensorflow/tools/pip_package:build_pip_package


pip打包whl
$ bazel-bin/tensorflow/tools/pip_package/build_pip_package /tmp/tensorflow_pkg
//pip 安装如下
# The name of the .whl file will depend on your platform.
$ sudo pip install /tmp/tensorflow_pkg/tensorflow-0.11.0-py2-none-any.whl


//python tensorflow/models/image/mnist/convolutional.py, 报错如下。 在centos上docker编译没有遇到此问题。
  import tensorflow as tf ImportError: No module named tensorflow
//制定pip安装的绝对路径，让python能够包含进tensorflow库，问题解决。
python -m pip install /path/to/tensorflow-version-platform.whl