Tensorflow on HDFS 的实践

官方文档很重要~

1 Overview

本文主要参考 Tensorflow on Hadoop，在 TenC 弹性计算平台做一个 Tensorflow 读取 TenC HDFS 的例子。

1. 安装 Java
2. 安装 Hadoop

2 Practice

做法很简单，就是以 Tensorflow 的官方镜像作为 base 镜像，装好 Java 和 Hadoop 就可以开始测试了，给个参考的 Dockerfile。

FROM tensorflow/tensorflow:1.14.0-py3

RUN apt-get update -y && apt-get install openjdk-8-jdk -y
ADD hadoop-2.9.2.tar.gz /opt
COPY test.py .
ENV JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64
ENV HADOOP_HDFS_HOME=/opt/hadoop-2.9.2
ENV HADOOP_HOME=/opt/hadoop-2.9.2
ENV LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:${JAVA_HOME}/jre/lib/amd64/server
CMD ["/bin/bash"]

镜像里的 test.py 逻辑很简单，就是读出参数1的指定文件的内容并且打印。

import tensorflow as tf
import numpy as np
import sys

def main():
    filename_queue = tf.train.string_input_producer([sys.argv[1]], num_epochs=1)
    reader = tf.TextLineReader()
    key, value = reader.read(filename_queue)

    with tf.Session() as sess:
        sess.run(tf.initialize_local_variables())
        tf.train.start_queue_runners()
        num_examples = 0
        try:
            while True:
                s_key, s_value = sess.run([key, value])
                print( s_key, s_value)
            num_examples += 1
        except tf.errors.OutOfRangeError:
            print ("There are", num_examples, "examples")

if __name__ == "__main__":
    main()

在机器上执行下面的命令。

docker build -t tf-hdfs:latest .

在 TenC HDFS 上 put 一个文件 tf-hdfs.csv。容器内测试 Tensorflow 读取 HDFS。

CLASSPATH=$($HADOOP_HDFS_HOME/bin/hadoop classpath --glob) python test.py hdfs://app/persona/ieg/dm/runzhliu/tf-hdfs.csv

3 Summary

因为主要涉及到 Hadoop 的安装以及环境变量的配置，可以尽量将环境变量的设置写在 Dockerfile 里，这样比较清晰，而且如果几个相关的环境变量没有设置对的话，会容易出现各种问题了。