26、简化Hadoop开发与集群运行管理

简化Hadoop开发与集群运行管理

一、简化开发工具介绍

在Hadoop开发中，有一些工具可以显著简化开发过程。

（一）Apache Crunch示例运行

首先来看Apache Crunch的一个示例，其编译和执行可以使用以下命令：

$ ./gradlew jar
$ ./gradlew copyJars

如果还未完成，需要将通过 copyJars 下载的Crunch和Avro依赖添加到 LIBJARS 环境变量中，具体操作如下：

$ export CRUNCH_DEPS=build/libjars/crunch-example/lib
$ export LIBJARS=${LIBJARS},${CRUNCH_DEPS}/crunch-core-0.9.0-cdh5.0.3.jar,${CRUNCH_DEPS}/avro-1.7.5-cdh5.0.3.jar,${CRUNCH_DEPS}/avro-mapred-1.7.5-cdh5.0.3-hadoop2.jar

此外，还需要将 json-simple JAR添加到 LIBJARS ：

$ export LIBJARS=${LIBJARS},${CRUNCH_DEPS}/json-simple-1.1.