hadoop 学习记录

本文记录了如何在本地环境下配置并运行Hadoop的MapReduce程序,通过修改bashrc文件设置classpath,然后编译并执行WordCount示例。详细步骤包括将Hadoop的classhpath添加到CLASSPATH,执行source命令使更改生效,以及使用javac编译Java源码。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1.本地MapReduce程序打包运行

我们将 Hadoop 的 classhpath 信息添加到 CLASSPATH 变量中,在 ~/.bashrc 中增加如下几行:

export HADOOP_HOME=/usr/local/hadoop #HADOOP_HOME已经定义则不需要写
export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH

别忘了执行 source ~/.bashrc 使变量生效,接着就可以通过 javac 命令编译 WordCount.java 了(使用的是 Hadoop 源码中的 WordCount.java,源码在文本最后面):

shell命令:

编译:
javac WordCount.java
打包:
jar -cvf WordCount.jar ./WordCount*.class
运行:
/usr/local/hadoop/bin/hadoop jar WordCount.jar WordCount input output

若是在(伪)分布式环境下,input是HDFS里的目录,用hdfs的命令往里面添加文件作为数据。

参考:http://blog.youkuaiyun.com/juan0728juan/article/details/54143946

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值