hadoop 学习记录

1.本地MapReduce程序打包运行

我们将 Hadoop 的 classhpath 信息添加到 CLASSPATH 变量中，在 ~/.bashrc 中增加如下几行：

export HADOOP_HOME=/usr/local/hadoop #HADOOP_HOME已经定义则不需要写
export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH

别忘了执行 source ~/.bashrc 使变量生效，接着就可以通过 javac 命令编译 WordCount.java 了（使用的是 Hadoop 源码中的 WordCount.java，源码在文本最后面）：

shell命令：

编译：
javac WordCount.java
打包：
jar -cvf WordCount.jar ./WordCount*.class
运行:
/usr/local/hadoop/bin/hadoop jar WordCount.jar WordCount input output

若是在（伪）分布式环境下，input是HDFS里的目录，用hdfs的命令往里面添加文件作为数据。

参考：http://blog.youkuaiyun.com/juan0728juan/article/details/54143946