WordCount测试及执行jar包

最新推荐文章于 2022-06-22 15:28:02 发布

原创最新推荐文章于 2022-06-22 15:28:02 发布 · 577 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#数据库 #hadoop #jar

本文档详细介绍了如何在已成功安装Hadoop和JDK的环境中进行WordCount测试。首先，通过version命令验证安装。接着，创建input文件夹并复制配置文件。然后，使用hadoop jar命令执行grep jar包进行正则匹配测试，并在output目录查看结果。随后，执行WordCount任务，将数据输入到demo文件夹，运行wordcount jar包并将结果保存到demo01。通过这种方法执行Hadoop jar包。

首先hadoop和jdk安装成功，可以version出版本
version -hadoop
version java

到hadoop创建input文件夹
复制所有hadoop下面的etc下面的hadoop所有的xml文件到刚刚创建的input文件夹

cp ./etc/hadoop/*.xml ./input

执行jar包，为了测试是否有符合正则表达式，
hadoop jar ./jar包文件路径 grep input ./output ‘dfs[a-z]’

hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar grep input ./output 'dfs[a-z]'

执行完成证明我可以使用,到output下面查看日志

cat part -r -00000

接下来要执行wordcount
创建文件夹demo，下创建文件 test 输入数据
执行wordcount
hadoop jar ./jar包文件路径 wordcount demo ./demo01

hadoop jar ./hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount demo ./demo01

执行完成查看日志

cat part -r -00000

注：Hadoop中执行jar包都是使用同上方法使用jar包