在yarn中的运行wordcount

最新推荐文章于 2024-04-24 02:12:19 发布

最新推荐文章于 2024-04-24 02:12:19 发布 · 3.6k 阅读

文章标签：

#YARN #wordcount

大数据相关专栏收录该内容

59 篇文章

订阅专栏

本文介绍如何在Hadoop环境中使用YARN提交WordCount任务。包括确保YARN正常启动、定位到包含example jar包的目录、切换到bin目录并运行hadoop jar命令，最后通过浏览器查看统计结果。

在hadoop中进行提交作业到yarn运行MapReduce运算wordcount

①首先保证yarn正常启动了

②切换到hadoop安装目录之下的share目录

zhangsf@hadoop1:/opt/hadoop-2.6.5/share/hadoop/mapreduce$ pwd
/opt/hadoop-2.6.5/share/hadoop/mapreduce

找到examples的jar包

/opt/hadoop-2.6.5/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar

③切换到hadoop的bin目录之下输入

 hadoop jar /opt/hadoop-2.6.5/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar  wordcount /input/aaa.txt /output/wc/

其中的

/opt/hadoop-2.6.5/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar 是example的路径

wordcount是自带执行wordcount的指令

/input/aaa.txt 是自己上传到hdfs系统的文件

/output/wc/是统计之后生成文件的路径

最终结果：

④查看最终的统计结果

可以去浏览器中查看生成的信息：

先看aaa.txt里面的信息

再看统计之后的信息

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

zhangvalue

关注关注

1
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

9.在yarn运行wordcount程序

开水烫鱼的博客

10-30

742

1.WordMapper: public class WordcountMap extends Mapper&lt;LongWritable, Text, Text, IntWritable&gt; { @Override protected void map(LongWritable key, Text value, Context context) throws IOException...

参与评论您还未登录，请先登录后发表或查看评论

我的大数据之旅-Hadoop启动YARN并运行MapReduce-WordCount

远方·玲玲

09-25

332

目标（1）配置集群在YARN上运行MR （2）启动、测试集群（3）在YARN上运行WordCount案例执行步骤（1）配置集群（a）配置yarn-env.sh $ vim etc/hadoop/yarn-env.sh （b）配置etc/hadoop/mapred-site.xml（对mapred-site.xml.template重新命名为mapred-site.xm...

Wordcount on YARN 一个MapReduce示例

weixin_34258078的博客

06-01

144

Hadoop YARN版本：2.2.0 关于hadoop yarn的环境搭建可以参考这篇博文：Hadoop 2.0安装以及不停集群加datanode hadoop hdfs yarn伪分布式运行，有如下进程 1320 DataNode1665 ResourceManager 1771 NodeManager 1195 NameNode 1487 SecondaryNameNo...

Hadoop Yarn运行模式 WordCount例子(JAVA)

最新发布

hhujjj2005的博客

04-24

370

Hadoop版本：3.3.5Hadoop运行模式：yarn模式yarn架构，参考。

Yarn命令使用及wordcount解析

MySQL技术

05-29

1423

前言：前面几篇博客主要介绍了MapReduce与Yarn的架构设计及简单工作流程，本篇文章将以wordcount程序为例，简单介绍下Yarn的使用。 1.wordcount示例运行 [root@hadoop000 ~]# su - hadoop [hadoop@hadoop000 ~]$ jps 9201 SecondaryNameNode 9425 ResourceMan...

hadoop学习（7）—— 使用yarn运行mapreduce一个简单的wordcount示例

隔壁小王的博客

04-15

1196

1.hdfs文件系统目录要求（建议） /user /{username} --用户名 /mr --MapReduce类型应用 /wordcount --应用的名称 /input --要处理的文件

05-flink-1.10.1-flink on yarn 流处理WordCount

m0_37813354的博客

08-31

443

1 启动相应服务 ① 启动 hdfs ,启动yarn ② 事先部署好flink 2 打包WordCount代码成jar包 3 上传打包好的jar到客户端机器 4 flink on yarn 4.1 session cluster Session-cluster模式需要先启动集群，然后在提交作业，接着会向yarn申请一块空间，资源永远保持不变，如果资源满了，下一个作业就无法提交，只能等到yarn中的其中一个作业执行完成后，释放了资源，下个作业才会正常提交，所有作业共享...

Flink on yarn执行Wordcount

weixin_44546992的博客

01-22

1924

Flink on yarn执行Wordcount一、写在前面二、实验环境三、两种在 yarn 上运行的模式3.1 Session-cluster 模式3.2 Per-Job-Cluster 模式启动方式一、写在前面以Yarn模式部署Flink任务时，要求Flink是有 Hadoop 支持的版本，Hadoop 环境需要保证版本在 2.2 以上，并且集群中安装有 HDFS 服务。二、实验环境本机：win 10 专业版； WSL：Ubuntu 20.04 TS； docker：19.03 Hadoop

大数据之八 hadoop MapReduce on YARN--WordCount

xingyao231的博客

10-20

422

Hadoop MapReduce WordCount执行过程及代码分析

WordCount提交到Spark-Yarn运行

FlatTiger的博客

03-16

269

代码 object Scala02_WordCountOnYarn { def main(args: Array[String]): Unit = { val conf: SparkConf = new SparkConf().setAppName("wordcount") val sc = new SparkContext(conf) val resRDD: RDD[(String, Int)] = sc.textFile(args(0)).flatMap(_.split("

Flink基础系列8-Flink on yarn运行wordcount程序

热门推荐

只是甲的博客

10-15

1万+

文章目录环境介绍一.Maven配置二.Java代码编写三.Maven打包并上传四.运行jar文件五.运行其它的class文件参考环境介绍测试服务器CDH 6.3.1版本安装Flink 1.9版本。 hello.txt文件 hello word hello hdfs hello mapreduce hello yarn hello hive hello spark hello flink 一.Maven配置 Flink依赖的配置 <dependency> <groupId&

YARN提交任务作业（以wordcount样例程序为例）

little prince，blue coder

07-17

7557

前提已经搭建好Hadoop环境。向YARN提交wordcount任务 1、首先在HDFS创建输入文件目录，并将待处理的wordcount文件传入相应的输入文件目录。 # 创建输入文件目录 hadoop fs -mkdir -p /tmp/jbw/wordcount_input_dir # 将待处理的文件上传至对应目录 hadoop fs -put /mnt/disk1/lin...

idea+maven+scala创建wordcount,打包jar并在spark on yarn上运行

勤劳的小蜜蜂啊~

01-15

1万+

maven+scala+idea创建第一个wordcount项目，打包成jar并用命令行在spark on yarn集群上运行。

Yarn集群的搭建、Yarn的架构和WordCount程序在集群提交方式

SHZHJ2000的博客

03-24

269

一、Yarn集群概述及搭建　　1.Mapreduce程序运行在多台机器的集群上，而且在运行是要使用很多maptask和reducertask，这个过程中需要一个自动化任务调度平台来调度任务，分配资源，这个平台就是Yarn！　　2.Yarn提交任务的流程：　　　　当我们向Yarn集群提交任务后，Yarn通过Resourcemanager给任务分配资源，然后由NodeManage...

CDH-6.1.0-1 执行yarn测试，执行wordcount 程序demo

weixin_34208185的博客

02-28

645

2019独角兽企业重金招聘Python工程师标准>>> ...

用spark写WordCount(本地运行，提交到yarn运行)

落幕7的博客

11-10

2144

文章目录idea中本地运行提交到集群去运行 idea中本地运行本地idea中运行要导入spark，scala依赖 <dependency> <groupId>org.scala-lang</groupId> <artifactId>scala-library</artifactId> <version>2.11.12</version>

大数据实验总结（六）--搭建Mapreduce（YARN）环境，运行Wordcount示例

Ldcrle的博客

06-22

1094

注意：每次运行前，请确保已经删除一些上次的运行结果 [root@master mapreduce]# hdfs dfs -rm -r /output 执行的txt文件是需要自己编写内容后上传的。 [root@master ~]# hdfs dfs -put CountWord.txt /input 请注意对比前两张运行失败，第三张运行成功：运行成功详细信息： [root@master ~]# hadoop jar /usr/local/hadoop/share/hadoop/mapred

WordCount（mapreduce、yarn）

ldpKing的博客

11-21

451

作为一个hadoop的初学者，在经历了一系列繁琐复杂的hadoop集群环境安装配置之后，终于自主完成了一个wordcount程序。通过mapreduce进行分布式运算，并通过yarn进行运行调度。 wordcount是一个经典的案例，相信大家都熟悉。主要任务就是计算每个单词出现的次数并保存。实现该过程，主要包括两个阶段：map阶段：将每一行文本数据变成<单词,1...