提交自己开发的MR作业到YARN上运行的步骤

最新推荐文章于 2021-08-09 10:31:56 发布
原创 最新推荐文章于 2021-08-09 10:31:56 发布 · 685 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍了如何使用Maven编译项目并跳过测试，将编译后的jar包及测试数据上传至服务器，接着将数据放置于HDFS中。随后通过Hadoop命令执行作业，并在YARN UI上监控作业状态，最后在指定输出目录检查结果。
  1. mvn clean package -DskipTests
  2. 把编译出来的jar包（项目目录/target/…jar）以及测试数据上传到服务器
  3. 把数据上传到HDFS
    hadoop fs -put xxx HDFSPATH
  4. 执行作业
    hadoop jar xxx.jar 完整的类名 args…
  5. 到YARN UI（8088）上去观察作业的运行情况
  6. 到输出目录去查看对应的输出结果
Yarn调度流程
m0_57697768的博客
07-08 1182
目前，Hadoop作业调度器主要有三种：FIFO、容量（Capacity Scheduler）和公平（Fair Scheduler）。Apache Hadoop3.1.3默认的资源调度器是Capacity Scheduler。先进先出不能体现任务的优先级，一些需要立即执行的任务仍需要等待前边的任务执行完才能执行。FIFO调度器（First In First Out）：单队列，根据提交作业的先后顺序，先来先服务。Capacity Scheduler是Yahoo开发的多用户调度器。容器调度器资源分配算法。
Spark On Yarn 运行模式（详细）
阿楠的博客
11-03 2700
Spark 在spark 中，支持4中运行模式： 1）Local:开发时使用 2）Standalone: 是spark 自带的，如果一个集群是standalong 的话，那么就需要在多台机器上同时部署spark 环境 3）Yarn:建议大家在生产上使用该模式，统一使用yarn 进行整个集群作业（mr、spark）的资源调度 4）Mesos ：跟yarn使用一样都是资源调度 不管使用什...
yarn的作业提交一个过程
大曹的博客
11-04 1146
yarn的作业提交一个过程 首先yarn是什么东西，在hadoop1.x的时候并没有yarn。mr即使计算框架也是资源调度框架，而复杂的框架造成资源分配不合理，经常浪费资源或者无法很好利用资源，所以在hadoop2.x之后呢，加入了一个yarn资源调度框架，它有什么好处呢?从此之后，集群的资源，不光是mr可以利用，spakr也可以利用，他就像一个管家，不管谁来，它负责分配资源，增加了集群资源利用率...
提交自定义开发的MR作业到YARN上运行
孤独的博客
08-19 413
运行步骤 mvn clean package -DskipTests window/Mac/Linux ==> Maven 把编译出来的jar包以及测试数据上传到服务器上 scp xxxx hadoop@hostname:directory 把数据上传到HDFS 执行作业 到YARN UI上观察作业情况，到输出目录查看输出结果 ...
MR提交job到YARN的流程
bbbbobbb的博客
08-06 986
MR提交job到YARN的流程 （1）首先client里执行一个MapReduce程序，这个程序运行在client端的JVM里，在main方法中最后有一个job.waitForCompletion(true)方法，当执行这个方法后会触发job.submitJob方法，准备向RM提交一个application。 （2）RM接受到请求后，会为这个application生成一个application +id编号，并且client会检查输出路径是否已存在，输入输出路径信息是否齐全。不管检查有问题与否，RM都会给c
MapReduce作业提交到YARN上运行的步骤
Drug discovery
07-29 7986
hadoop jar 包名 类名 输入参数1 输入参数2 … [hadoop@hadoop000 lib]$ hadoop jar hadoop-train-v2-1.0.jar com.imooc.bigdata.hadoop.mr.access.AccessYARNApp /access/input/access.log /access/output/
hadoop作业提交到yarn
xby_1997的博客
04-21 278
问题：failed 2 times due to AM Container for appattempt_1555657719239_0001_000002 exited with exitCode: -1 解决： https://blog.youkuaiyun.com/heylogman/article/details/78352844
Yarn工作机制与作业提交全解析：从MR到RM的流程详解
- **步骤4**：客户端将作业所需的JAR包、切片信息（数据划分）和配置文件上传到指定的资源提交路径。 - **步骤5**：资源提交完成后，客户端向RM申请运行MrAppMaster，即作业的起点。 在作业初始化阶段，MrAppMaster...
Hadoop MR程序代码提交与运行模式详解
在Hadoop中，提交一个MapReduce作业通常包括以下几个步骤： a. 配置JobConf对象，设置作业的名称、输入输出路径等属性。 b. 实现Map类和Reduce类，并在驱动程序中设置这些类。 c. 配置文件输入和输出格式。 d. ...
Yarn资源调用demo案例
09-05
3. 提交应用：通过`hadoop jar`命令提交应用到YARN。 4. 监控应用：通过`yarn application -list`或Hadoop WebUI查看应用状态。 六、实战演练 在“demo”压缩包中，可能包含了运行YARN应用的脚本或教程，用户可以...
MR
u014156013的博客
08-01 906
一、在我们提交完MR程序之后，MR程序会先后经历map，reduce阶段，下面我们详细的来解析一下各个阶段     1、map阶段，在这个阶段主要分如下的几个步骤read，map,collect，溢写，combine阶段         (1)、在read阶段，maptask会调用用户自定义的RecordReader方法，在splitInput中解析出一个个的key-value对      ...
MR作业提交全过程
AHincsdn的博客
08-09 2407
client调用job.waitForCompletion方法，向整个集群提交MapReduce作业 (第1步) 。 新的作业ID(应用ID)由资源管理器分配(第2步). 作业的client核实作业的输出, 计算输入的split,将作业的资源(包括Jar包, 配置文件, split信息)拷贝给HDFS(第3步). 最后, 通过调用资源管理器的submitApplication()来提交作业(第4步). 当资源管理器收到submitApplication()的请求时, 就将该请求发给调度器(sch
IDEA中MR提交作业到yarn，踩坑汇总
阿顾的博客
09-03 1701
跑mapreduce任务只知道在在本地打成jar，提交到hadoop集群上去跑任务，如果出现错误往往很难定位错误，所以远程debug是开发中不可或缺的技能 一 Permission denied（权限问题） 权限问题，idea运行job时，报如下错误 Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.securi...
客户端向yarn提交MR作业流程简述
然然然星人的博客
01-04 4915
这里简述一下客户端向yarn提交MR作业是，yarn是如何进行调度，同时会有哪些进程(windos下为线程)协调工作。1、yarn简述yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式操作系统平台，而mapreduce等运算程序则相当于运行与操作系统之上的应用程序。yarn在hadoop2.x系列中被加入的资源管理器，取代hadoop1.x中的jobtracker，将资...
Yarn的工作流程（mr提交应用程序）
qq_34382453的博客
10-16 1443
Yarn的工作流程如下图： 1、 用户向Yarn提交应用程序，其中包括ApplicationMaster程序、启动ApplicationMaster的命令、用户程序等。 2、ResourceManager为该程序分配第一个Container,并与对应的NodeManager通信，要求它在对应的Container中启动应用程序的ApplicationMaster。 3、ApplicationMas...
YARN提交MR程序流程以及MR调优
qq_22796957的博客
07-10 2213
YARN提交MR程序流程 YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成，如图4-23所示。 图4-23 Yarn基本架构 Yarn工作机制 1．Yarn运行机制，如图4-24所示。 图4-24 Yarn工作机制 2．工作机制详解 （1）MR程序提交到客户端所在的节点。 （2）YarnRunner向ResourceManager申请一个Application...
IDEA开发mapreduce程序本地提交到Yarn运行
边看边学
09-08 603
public class WC_Yarn { public static void main(String[] args) throws Exception { //1.获取job对象 Properties properties = System.getProperties(); properties.setProperty("HADOOP...
Hadoop-Yarn介绍以及作业提交流程
qichangjian的博客
02-26 1487
1）关于YARN的介绍： YARN 是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而 MapReduce 等运算程序则相当于运行于操作系统之上的应用程序。 2）hadoop1.x中YARN的不足： JobTracker是集群的事务的集中处理，存在单点故障 JobTracker需要完成得任务太多，既要维护job的状态又要维护job的task的状态，造成资源消...
Tez的相关介绍
咩名
06-02 2829
以下博客转自：http://dongxicheng.org/mapreduce-nextgen/apache-tez/ Tez（Hortonworks介绍：这里，源代码下载：这里，今天刚刚发布的源代码）是Apache最新开源的支持DAG作业的计算框架，它直接源于MapReduce框架，核心思想是将Map和Reduce两个操作进一步拆分，即Map被拆分成Input、Processor、Sort
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值