hadoop 学习记录

原创于 2017-08-17 18:20:34 发布 · 443 阅读

0 ·

CC 4.0 BY-SA版权

hadoop 专栏收录该内容

1 篇文章

订阅专栏

本文记录了如何在本地环境下配置并运行Hadoop的MapReduce程序，通过修改bashrc文件设置classpath，然后编译并执行WordCount示例。详细步骤包括将Hadoop的classhpath添加到CLASSPATH，执行source命令使更改生效，以及使用javac编译Java源码。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.本地MapReduce程序打包运行

我们将 Hadoop 的 classhpath 信息添加到 CLASSPATH 变量中，在 ~/.bashrc 中增加如下几行：

export HADOOP_HOME=/usr/local/hadoop #HADOOP_HOME已经定义则不需要写
export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH

别忘了执行 source ~/.bashrc 使变量生效，接着就可以通过 javac 命令编译 WordCount.java 了（使用的是 Hadoop 源码中的 WordCount.java，源码在文本最后面）：

shell命令：

编译：
javac WordCount.java
打包：
jar -cvf WordCount.jar ./WordCount*.class
运行:
/usr/local/hadoop/bin/hadoop jar WordCount.jar WordCount input output

若是在（伪）分布式环境下，input是HDFS里的目录，用hdfs的命令往里面添加文件作为数据。

参考：http://blog.youkuaiyun.com/juan0728juan/article/details/54143946