hadoop-2.7.3的WordCount测试

最新推荐文章于 2022-09-19 10:22:09 发布

给我枝烟

最新推荐文章于 2022-09-19 10:22:09 发布

阅读量694

点赞数 2

CC 4.0 BY-SA版权

分类专栏： bigdata 文章标签： hadoop

本文链接：https://blog.youkuaiyun.com/dongweizu33/article/details/71554324

bigdata 专栏收录该内容

2 篇文章

订阅专栏

本文详细介绍了如何在Hadoop 2.7.3上进行WordCount测试。首先创建并准备了两个文本文件，然后将它们复制到Hadoop的input目录下。接着，通过命令行检查了文本是否正确导入。之后运行WordCount的jar程序，指定输出结果到/output目录。最后，展示了如何查看运行的结果，验证WordCount程序的正确性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

测试hadoop的 WordCount

1、创建两个文本

[root@bigdata01 /]# mkdir input
[root@bigdata01 /]# cd input
[root@bigdata01 input]# echo "hello world" >test1.txt
[root@bigdata01 input]# echo "hello hadoop" >test2.txt

2、将两个txt文本copy到hadoop下

./代表input目录下所有文本 /input代表hadoop根目录吧我也不清楚
[root@bigdata01 input]# hadoop fs -put ./ /input 

3、查看copy到hadoop的文本

[root@bigdata01 input]# hadoop fs -ls /input
Found 2 items
-rw-r--r--   1 root supergroup         12 2017-05-10 04:09 /input/test1.txt
-rw-r--r--   1 root supergroup         13 2017-05-10 04:09 /input/test2.txt

4、查看文本内容

[root@bigdata01 input]# hadoop fs -cat /input/test1.txt 
hello world

5、运行wordcount的jar包，并输出结果到/output

[root@bigdata01 hadoop-2.7.3]# hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /input/ /output

6、查看运行结果

[root@bigdata01 hadoop-2.7.3]# hadoop fs -ls /output
Found 2 items
-rw-r--r--   1 root supergroup          0 2017-05-10 08:03 /output/_SUCCESS
-rw-r--r--   1 root supergroup         25 2017-05-10 08:03 /output/part-r-00000
[root@bigdata01 hadoop-2.7.3]# hadoop fs -cat /output/part-r-00000
hadoop	1
hello	2
world	1