提交自己开发的MR作业到YARN上运行的步骤

最新推荐文章于 2020-08-06 13:46:18 发布
最新推荐文章于 2020-08-06 13:46:18 发布
阅读量672 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/vincent_duan/article/details/102968517
本文详细介绍了如何使用Maven编译项目并跳过测试，将编译后的jar包及测试数据上传至服务器，接着将数据放置于HDFS中。随后通过Hadoop命令执行作业，并在YARN UI上监控作业状态，最后在指定输出目录检查结果。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

  1. mvn clean package -DskipTests
  2. 把编译出来的jar包（项目目录/target/…jar）以及测试数据上传到服务器
  3. 把数据上传到HDFS
    hadoop fs -put xxx HDFSPATH
  4. 执行作业
    hadoop jar xxx.jar 完整的类名 args…
  5. 到YARN UI（8088）上去观察作业的运行情况
  6. 到输出目录去查看对应的输出结果
Yarn调度流程
m0_57697768的博客
07-08 1057
目前，Hadoop作业调度器主要有三种：FIFO、容量（Capacity Scheduler）和公平（Fair Scheduler）。Apache Hadoop3.1.3默认的资源调度器是Capacity Scheduler。先进先出不能体现任务的优先级，一些需要立即执行的任务仍需要等待前边的任务执行完才能执行。FIFO调度器（First In First Out）：单队列，根据提交作业的先后顺序，先来先服务。Capacity Scheduler是Yahoo开发的多用户调度器。容器调度器资源分配算法。
Spark On Yarn 运行模式（详细）
阿楠的博客
11-03 2671
Spark 在spark 中，支持4中运行模式： 1）Local:开发时使用 2）Standalone: 是spark 自带的，如果一个集群是standalong 的话，那么就需要在多台机器上同时部署spark 环境 3）Yarn:建议大家在生产上使用该模式，统一使用yarn 进行整个集群作业（mr、spark）的资源调度 4）Mesos ：跟yarn使用一样都是资源调度 不管使用什...
yarn的作业提交一个过程
大曹的博客
11-04 1130
yarn的作业提交一个过程 首先yarn是什么东西，在hadoop1.x的时候并没有yarn。mr即使计算框架也是资源调度框架，而复杂的框架造成资源分配不合理，经常浪费资源或者无法很好利用资源，所以在hadoop2.x之后呢，加入了一个yarn资源调度框架，它有什么好处呢?从此之后，集群的资源，不光是mr可以利用，spakr也可以利用，他就像一个管家，不管谁来，它负责分配资源，增加了集群资源利用率...
提交自定义开发的MR作业到YARN上运行
孤独的博客
08-19 395
运行步骤 mvn clean package -DskipTests window/Mac/Linux ==> Maven 把编译出来的jar包以及测试数据上传到服务器上 scp xxxx hadoop@hostname:directory 把数据上传到HDFS 执行作业 到YARN UI上观察作业情况，到输出目录查看输出结果 ...
MR提交job到YARN的流程
bbbbobbb的博客
08-06 961
MR提交job到YARN的流程 （1）首先client里执行一个MapReduce程序，这个程序运行在client端的JVM里，在main方法中最后有一个job.waitForCompletion(true)方法，当执行这个方法后会触发job.submitJob方法，准备向RM提交一个application。 （2）RM接受到请求后，会为这个application生成一个application +id编号，并且client会检查输出路径是否已存在，输入输出路径信息是否齐全。不管检查有问题与否，RM都会给c
MapReduce作业提交到YARN上运行的步骤
Drug discovery
07-29 7898
hadoop jar 包名 类名 输入参数1 输入参数2 … [hadoop@hadoop000 lib]$ hadoop jar hadoop-train-v2-1.0.jar com.imooc.bigdata.hadoop.mr.access.AccessYARNApp /access/input/access.log /access/output/
hadoop作业提交到yarn
xby_1997的博客
04-21 266
问题：failed 2 times due to AM Container for appattempt_1555657719239_0001_000002 exited with exitCode: -1 解决： https://blog.youkuaiyun.com/heylogman/article/details/78352844
Yarn工作机制与作业提交全解析：从MR到RM的流程详解
- **步骤4**：客户端将作业所需的JAR包、切片信息（数据划分）和配置文件上传到指定的资源提交路径。 - **步骤5**：资源提交完成后，客户端向RM申请运行MrAppMaster，即作业的起点。 在作业初始化阶段，MrAppMaster...
Hadoop MR程序代码提交与运行模式详解
在Hadoop中，提交一个MapReduce作业通常包括以下几个步骤： a. 配置JobConf对象，设置作业的名称、输入输出路径等属性。 b. 实现Map类和Reduce类，并在驱动程序中设置这些类。 c. 配置文件输入和输出格式。 d. ...
Yarn资源调用demo案例
最新发布
09-05
3. 提交应用：通过`hadoop jar`命令提交应用到YARN。 4. 监控应用：通过`yarn application -list`或Hadoop WebUI查看应用状态。 六、实战演练 在“demo”压缩包中，可能包含了运行YARN应用的脚本或教程，用户可以...
搭建MR开发环境
01-10
搭建MR开发环境.
MR
u014156013的博客
08-01 881
一、在我们提交完MR程序之后，MR程序会先后经历map，reduce阶段，下面我们详细的来解析一下各个阶段     1、map阶段，在这个阶段主要分如下的几个步骤read，map,collect，溢写，combine阶段         (1)、在read阶段，maptask会调用用户自定义的RecordReader方法，在splitInput中解析出一个个的key-value对      ...
YARN提交MR程序流程以及MR调优
qq_22796957的博客
07-10 2179
YARN提交MR程序流程 YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成，如图4-23所示。 图4-23 Yarn基本架构 Yarn工作机制 1．Yarn运行机制，如图4-24所示。 图4-24 Yarn工作机制 2．工作机制详解 （1）MR程序提交到客户端所在的节点。 （2）YarnRunner向ResourceManager申请一个Application...
MR开发高级教程
05-18
MR开发高级教程，功能包括通用TCP网络模块，资源动态更新，MRTK，HoloLens交互共享、AR设备校准共享、第三视角、HoloLens第一视角视频编解码等~  
客户端向yarn提交MR作业流程简述
然然然星人的博客
01-04 4862
这里简述一下客户端向yarn提交MR作业是，yarn是如何进行调度，同时会有哪些进程(windos下为线程)协调工作。1、yarn简述yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式操作系统平台，而mapreduce等运算程序则相当于运行与操作系统之上的应用程序。yarn在hadoop2.x系列中被加入的资源管理器，取代hadoop1.x中的jobtracker，将资...
IDEA中MR提交作业到yarn，踩坑汇总
阿顾的博客
09-03 1606
跑mapreduce任务只知道在在本地打成jar，提交到hadoop集群上去跑任务，如果出现错误往往很难定位错误，所以远程debug是开发中不可或缺的技能 一 Permission denied（权限问题） 权限问题，idea运行job时，报如下错误 Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.securi...
MR程序的几种提交运行模式
s646575997的博客
04-06 1951
本地模型运行1.在windows的eclipse里面直接运行main方法，就会将job提交给本地执行器localjobrunner执行 ----输入输出数据可以放在本地路径下（c:/wc/srcdata/） ----输入输出数据也可以放在hdfs中(hdfs://sfd:9000/wc/srcdata) 2.在linux的eclipse里面直接运行main方法，但是不要添加y
从Java代码远程提交YARN MapReduce任务
MercedesQQ的专栏
11-22 8562
在Hadoop上运行MapReduce任务的标准做法是把代码打包到jar里面，上传到服务器，然后用命令行启动。如果你是从一个Java应用中想要启动一个MapReduce，那么这个方法真是又土又麻烦。 其实YARN是可以通过Java程序向Hadoop集群提交MapReduce任务的。与普通的任务不同的是，远程提交的Job由于读不到服务器上的mapred-site.xml和yarn-site.xml
MR的原理和运行流程
热门推荐
程序员小陶的大数据分享
12-13 2万+
文章目录MR的原理和运行流程Map的运行过程Reduce处理过程Shuffle过程MR运行过程Yarn && Job MR的原理和运行流程 Map的运行过程 以HDFS上的文件作为默认输入源为例（MR也可以有其他的输入源） block是HDFS上的文件块，split是文件的分片（逻辑划分，不包含具体数据，只包含这些数据的位置信息）。 一个split包含一个或多个block，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值