运行Hadoop自带的MapReduce WordCount单词统计程序

启动

 start-dfs.sh

start-yarn.sh

mr-jobhistroy-daemon.sh start historyserver

找到mapreduce的路径,使用以下指令

find -name mapreduce

可以看到，就是 hadoop-mapreduce-examples-2.7.1jar 这个压缩包。可能有其他版本，反正带有example字样

/usr/local/hadoop/share/hadoop/mapreduce

（这里我找到的是mapreduce的绝对路径）

（一）

1.创建txt文件，我在这里创建/home/input.txt

切换路径：

cd /home

创建txt.文件

touch input.txt

编辑文件

vim input.txt

进去后按i键进行输入，然后Esc，再shift+；  最后输入wq

即是保存退出

在里面我输入了hello world

2.创建一个多级目录，保存MapReduce的输入文件

/usr/local/hadoop/bin/hadoop fs -mkdir -p /data/wordcount

3.创建一个目录，保存MapReduce的输出文件

/usr/local/hadoop/bin/hadoop fs -mkdir /output

标红表示可以自己设定的

（二）

上传这个文件到HDFS中：

/usr/local/hadoop/bin/hadoop fs -put /home/input.txt /data/wordcount

红色为之前创建txt文件的路径

表绿色为表示要和之前自己文件路径要一致

（三）

查看是否上传成功

/usr/local/hadoop/bin/hadoop fs -ls /data/wordcount

/usr/local/hadoop/bin/hadoop fs -cat /data/wordcount/input.txt

四、运行 WordCount 程序

/usr/local/hadoop/bin/hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar wordcount /data/wordcount /output/wordcount

标红这里指定了输出文件里面统计结果的文件名称

查看统计结果

/usr/local/hadoop/bin/hadoop fs -ls /output/wordcount

/usr/local/hadoop/bin/hadoop fs -cat /output/wordcount/part-r-00000

感谢您的浏览，希望可以帮到您