MapReduce执行WordCount操作

MapReduce 数字统计例子WordCount

在单机环境上运行WordCount.java程序

简单配置为：/etc/hosts:

 

Core-site.xml

 

 

在这两个配置文件下运行WordCount 程序，出现如下的错误：

 

 

错误中有一句：due to :Call From YARN001/127.0.0.1 to YARN001:8020 failed，所以经过不断地尝试，将core-site.xml里的hdfs://YARN001:8020改为hdfs://192.168.116.50:8020后程序运行成功：

 

回过头审视，发现/etc/hosts配置得形同虚设于是将/etc/hosts最后一行删去

 

用到的HDFS基本命令有

bin/hdfs dfs -rmr /output

bin/hdfs dfs -mkdir -p /input

bin/hdfs dfs -put WordCout.java /input

 

其他基本命令，记录到博客中

 

执行wordcount程序命令为:

bin/hadoop jar /home/dongwengao/wordcount.jar wordcount/WordCount /input /output

说明：wordcount/WordCount是包名/类名， /input输入目录为args[0]，需要提前生成， /output 输出目录为args[1]，不能提前生成，如果生成要删除。

 

转载于:https://www.cnblogs.com/hotMemo/p/9338415.html