26、简化Hadoop开发与集群运行指南

简化Hadoop开发与集群运行指南

一、简化开发工具介绍

在Hadoop开发中，有一些工具能极大地简化开发流程，下面为你详细介绍。

（一）Apache Crunch示例运行步骤

以下是编译和执行示例的命令：

$ ./gradlew jar
$ ./gradlew copyJars

若尚未完成，需将使用 copyJars 下载的Crunch和Avro依赖添加到 LIBJARS 环境变量中，操作如下：

$ export CRUNCH_DEPS=build/libjars/crunch-example/lib
$ export LIBJARS=${LIBJARS},${CRUNCH_DEPS}/crunch-core-0.9.0-cdh5.0.3.jar,${CRUNCH_DEPS}/avro-1.7.5-cdh5.0.3.jar,${CRUNCH_DEPS}/avro-mapred-1.7.5-cdh5.0.3-hadoop2.jar

此外，还需将 json-simple JAR添加到 LIBJARS ：

$ export LIBJARS=${LIBJARS},${CRUNCH_DEPS}/json-simple-1.1.1.jar