Hadoop自带MapReduce测试

Hadoop自带wordcount测试

创建一个文档words.txt
hdfs下新建文件夹input

hdfs dfs -mkdir /input

复制文件

hdfs dfs -put /usr/hadoop/hadoop-2.8.5/data/words.txt /input/wordcount

查看txt中内容

hdfs dfs -cat /input/wordcount/words.txt

找到jar包
cd $HADOOP_HOME/share/hadoop/mapreduce

执行

hadoop jar hadoop-mapreduce-examples-2.8.5.jar wordcount /input/wordcount /output/wordcount

运行成功

查看输出结果
hadoop fs -text /output/test/part-r-00000

遇到的问题

1.namenode处于安全模式
关闭安全模式即可

hadoop dfsadmin -safemode leave

2.put: File /input/words.txt.COPYING could only be replicated to 0 nodes instead of minReplication (=1). There are 0 datanode(s) running and no node(s) are excluded in this operation.
原因可能是使用hadoop namenode -format格式化时格式化了多次造成那么spaceID不一致。
解决方法：停止集群并删除core-site.xml文件中hadoop.tmp.dir对应文件夹，重新格式化namenode再启动。

hdfs namenode -format
start-all.sh