hadoop 部署后测试运行wordcount

最新推荐文章于 2025-03-12 12:47:12 发布

_fighting

最新推荐文章于 2025-03-12 12:47:12 发布

阅读量1.1k

点赞数 1

分类专栏： hadoop 文章标签： mapreduce wordcount

hadoop 专栏收录该内容

2 篇文章

订阅专栏

本文介绍如何通过几个简单的步骤验证Hadoop集群的安装情况。包括在HDFS上创建目录、上传文件、使用WordCount示例进行MapReduce任务，并展示如何查看最终的输出结果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

由于hbase集群部署失败，所以我想测试一下自己的 hadoop 是否安装成功

1. hadoop fs -mkdir /input

在HDFS中创建input文件目录

[root@master hadoop]# hadoop fs -mkdir /input

2 hadoop fs -put LICENSE.txt /input

我当前在hadoop的目录下，有个LICENSE.txt的文件，把它放到hdfs的input目录下面

[root@master hadoop]# hadoop fs -put LICENSE.txt  /input

hadoop fs -ls /input

查看文件是否正确传入到/input目录下

或者 hadoop fs -cat /input/LICENSE.txt查看文件内容

[root@master hadoop]# hadoop fs -ls /input
Found 1 items
-rw-r--r--   2 root supergroup      84854 2018-06-19 09:34 /input/LICENSE.txt
[root@master hadoop]# hadoop fs -cat /input LICENSE.txt

执行：hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount /input /output

或者绝对路径：

hadoop jar /usr/hadoop/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount /input /output

[root@master hadoop]# hadoop jar /usr/hadoop/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar 
   wordcount /input /output

6 看到这个就成功了

7 hadoop fs -ls /output

查看输出结果的目录

hadoop fs -cat /output/part-r-00000

查看输出结果

结果就是对LICENSE.txt文件中单词进行计数统计了，到这就运行完成了。

[root@master hadoop]# hadoop fs -ls /output
Found 2 items
-rw-r--r--   2 root supergroup          0 2018-06-19 09:47 /output/_SUCCESS
-rw-r--r--   2 root supergroup      22002 2018-06-19 09:47 /output/part-r-00000