在yarn中的运行wordcount

原创于 2018-06-15 11:39:56 发布 · 3.5k 阅读

CC 4.0 BY-SA版权

文章标签：

59 篇文章

订阅专栏

本文介绍如何在Hadoop环境中使用YARN提交WordCount任务。包括确保YARN正常启动、定位到包含example jar包的目录、切换到bin目录并运行hadoop jar命令，最后通过浏览器查看统计结果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在hadoop中进行提交作业到yarn运行MapReduce运算wordcount

①首先保证yarn正常启动了

②切换到hadoop安装目录之下的share目录

zhangsf@hadoop1:/opt/hadoop-2.6.5/share/hadoop/mapreduce$ pwd
/opt/hadoop-2.6.5/share/hadoop/mapreduce

找到examples的jar包

/opt/hadoop-2.6.5/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar

③切换到hadoop的bin目录之下输入

 hadoop jar /opt/hadoop-2.6.5/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar  wordcount /input/aaa.txt /output/wc/

其中的

/opt/hadoop-2.6.5/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar 是example的路径

wordcount是自带执行wordcount的指令

/input/aaa.txt 是自己上传到hdfs系统的文件

/output/wc/是统计之后生成文件的路径

最终结果：

④查看最终的统计结果

可以去浏览器中查看生成的信息：

先看aaa.txt里面的信息

再看统计之后的信息