1.本地MapReduce程序打包运行
我们将 Hadoop 的 classhpath 信息添加到 CLASSPATH 变量中,在 ~/.bashrc 中增加如下几行:
export HADOOP_HOME=/usr/local/hadoop #HADOOP_HOME已经定义则不需要写
export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH
别忘了执行 source ~/.bashrc
使变量生效,接着就可以通过 javac
命令编译 WordCount.java 了(使用的是 Hadoop 源码中的 WordCount.java,源码在文本最后面):
编译:
javac WordCount.java
打包:
jar -cvf WordCount.jar ./WordCount*.class
运行:
/usr/local/hadoop/bin/hadoop jar WordCount.jar WordCount input output
若是在(伪)分布式环境下,input是HDFS里的目录,用hdfs的命令往里面添加文件作为数据。
参考:http://blog.youkuaiyun.com/juan0728juan/article/details/54143946