大数据-------Job 提交流程

最新推荐文章于 2022-04-13 14:42:36 发布

转载最新推荐文章于 2022-04-13 14:42:36 发布 · 346 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/jia-0112/p/11433104.html

文章标签：

#大数据

本文详细介绍了Hadoop中Job提交的过程，包括在本地或集群中建立连接、校验空间、缓存处理、创建资源路径、获取JobId、拷贝资源到集群、计算切片、生成切片规划文件、写入XML配置文件以及提交Job并等待返回状态等关键步骤。

1. 建立连接：判断是在本地运行还在集群中运行，会分别创建不同的运行对象Local和Yarn；

2. 提交 Job ：

校验空间：checkSpace() -------》缓存处理 -------》创建资源路径：Stag 路径 ------》

获取JobId，在Stag下创建Job路径 -------》拷贝相关资源到集群 -------》计算切片，生成切片规划文件

-------》向Stag路径写XML配置文件 -------》提交Job，等待返回提交状态

转载于:https://www.cnblogs.com/jia-0112/p/11433104.html

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

JY2991

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

大数据之-Hadoop3.x_MapReduce_Job提交流程---大数据之hadoop3.x工作笔记0103

添柴程序猿的专栏

10-27

408

然后为了弄清楚,MapReduce执行过程中,会进行逻辑切片,一个文件包含多个切片,一个切片大小默认是128m,对应一个maptask 1. 我们看之前的代码,找到提交job的地方,打上debug.然后,要注意,map阶段,输出的文件夹,要是不存在的一个文件夹, 我们把原来用过的这个文件夹的名字改成output666 然后我们去调试运行, 然后我们调试进入到源码中去.Job.java中去然后,可以看到走到源码中去,可以看到jobstate = define的时候,会执行su...

大数据入门--Flink（一）安装与Job提交方式

书山有路，学海无涯

09-04

774

Flink安装与Job部署组件介绍安装方式Standalone模式YarnSession ModelPer-Job ModeApplication Mode 学习版本：1.13.2 组件介绍参考文档必须组件组件介绍实现 Flink Client 编译batch或者streaming应用为数据流图，然后提交给JobManager Command Line InterfaceREST EndpointSQL ClientPython REPLScala REPL JobMana

参与评论您还未登录，请先登录后发表或查看评论

大数据之MR Job案例

louiezhang1215的博客

10-19

856

1 创建运行MapReduce作业的文件目录 2 将input文件发送到到分布式文件系统中并检查是否成功 3 测试案例在生产上，map和reduce是分步运行的，map运行到50%时reduce开始运行，对于小的数据文件，map运行到100%reduce才开始运行。在资源不够的情况下会报错，会尝试提交其他资源，重新上传资源，其每次输出的文件夹都不一样，因为系统不会覆盖原来的输出文件，...

hadoop job 数量_大数据学习篇之Hadoop

weixin_30431923的博客

12-21

349

Hadoop的设计架构模式，集中管理 Hadoop 几个主要产品的架构设计，它们都有相似性，都是一主多从的架构方案。HDFS，一个 NameNode，多个 DataNode；MapReduce，一个 JobTracker，多个 TaskTracker；Yarn，一个 ResourceManager，多个 NodeManager。事实上，很多大数据产品都是这样的架构方案：Storm，...

大数据开发之Job提交流程源码和切片源码详解

m0_58371965的博客

08-18

214

1．Job提交流程源码详解 waitForCompletion() submit(); // 1建立连接 connect(); // 1）创建提交Job的代理 new Cluster(getConfiguration()); // （1）判断是本地yarn还是远程 initialize(jobTrackAddr, conf); // 2 提交job submitter.submitJobInternal(Job.this, cluster) // 1）创建给集群提交数据的Stag路径

YARN的job提交过程

一入大数据深似海?别怕!“数据极客圈”就是你的救生圈，走对圈子跟对人，趣析数据、畅聊趋势，快进圈子!

07-19

816

YARN的job提交过程job提交过程示意图job提交过程详解1.作业提交2.作业初始化3.任务分配4.任务运行5.进度和状态更新6.作业完成 job提交过程示意图 job提交过程详解 1.作业提交（1）Client调用job.waitForCompletion方法，向整个集群提交MapReduce作业。（2）Client向RM申请一个作业id。（3）RM给Client返回该job资源的提交路径和作业id。（4）Client提交jar包、切片信息和配置文件到指定的资源提交路径。（5）Client

云帆大数据----04 MapReduce入门编程、框架原理、

10-21

MapReduce的编程模型非常简洁明了，主要包括输入输出类型、Job提交流程、Map和Reduce函数的编写。输入数据会被分割成多个片段（Splits），每个片段被分配给一个MapTask进行处理。在Map阶段，数据会根据键值对（Key-...

大数据--spark生态2--spark架构和rdd总结

数据挖掘+大数据研发+算法学习

05-31

463

一：Spark特点运行速度快：Spark使用先进的有向无环图（DAG）执行引擎，以支持循环数据流与内存计算。

大数据--spark生态7--spark的shuffle过程详解

数据挖掘+大数据研发+算法学习

04-13

2905

目录一：理解shuffle 二： shuffle write 2.1 shuffle write的目标 2.2 shuffle write的位置 2.3 桶（bucket） 2.4 默认分区算法 2.5 bucket数量太多的解决方案三： shuffle read 3.1 在什么时候fetch 3.2 边fetch边处理还是一次性fetch完再处理？ 3.3 fetch来的数据存放在哪？ 3.4 如何获得要fetch的数据的存放位置？ 3.5 reduce端的shuffle

大数据平台-MapReduce介绍.pdf

03-03

Job类配置、提交Job，控制其执行，查询其状态。Writable接口序列化输入输出。WritableComparable接口可比较的序列化输入输出。实例1：WordCount是一个简单的MapReduce实例。目的：利用并行化思想来对文本中的单词...

大数据开发面试部分：Hadoop 中 job 和 task 之间的区别是什么（大数据开发面试）

wyqwilliam的博客

07-13

5262

JobTracker 是一个 master 服务，软件启动之后 JobTracker 接收 Job，负责调度 Job的每一个子任务， task 运行于 TaskTracker 上，并监控它们，如果发现有失败的 task 就重新运行它。一般情况应该把 JobTracker 部署在单独的机器上。 TaskTracker 是运行在多个节点上的 slaver 服务。TaskTracker 主动与 Job...

大数据开发面试部分：如何决定一个job的map和reduce的数量（大数据开发面试）

wyqwilliam的博客

07-13

3015

splitSize=max{minSize,min{maxSize,blockSize}} map数量由处理的数据分成的block数量决定default_num = total_size / split_size; reduce的数量job.setNumReduceTasks(x);x 为reduce的数量. ...

hadoop job解决大数据量关联时数据倾斜的一种办法

weixin_34376562的博客

09-01

370

http://www.geminikwok.com/2011/04/02/hadoop-jobè§£å³å¤§æ°æ®éå³èæ—¶æ°æ®å¾æçä¸ç§åæ³/ 数据倾斜是指，map /reduce程序执行时，reduce节点大部分执行完毕，但是有一个或者几个reduce节点运行很慢，导致整个程序的处理时间很长，这是因为某一个key的条数比其他ke...

大数据组件之spark中job的一系列过程如下

sandy

10-26

738

1.Job，大数据的任务基本上都是按照job进行提交的。具体的l流程如下示：（1）第一个过程：didbuild operator DAG:主要是RDD转换为DAG的一个过程，RDD对象，一个RDD连接着一个RDD,第一阶段创建了RDD之后，第二个阶段就是进行spilt graph into stages of tasks:主要是完成finalStage的创建以及和Stage的划分。 ...

解决 hadoop调用job.waitForCompletion(true);这个函数为false和返回空指针

qq_21277357的博客

09-16

6111

第一步把linux的hadoop-2.6.0-cdh5.15.1.tar 下载到本地第二步以管理员方式解压hadoop-2.6.0-cdh5.15.1.tar 第三步把对应版本的hadoop.dll(这个去https://github.com/steveloughran/winutils（/bin目录下）找对应的版本,我这边是2.6的版本),放到C:\Windows\System3...

Bash中的job管理

专注、专心

10-23

4437

本来不准备写这篇博客的，因为任务管理（job管理）非常非常常用，以至于觉得根本没有必要去写这样一个东西。但想了下，还是记录一下吧，也许有人会用到呢。　　不知你是否碰到过这样的情况，当你兴致勃勃的打开VIM,写代码写到正酣时，运营MM或者产品MM气喘吁吁的跑过来：“赶紧帮我跑一下xx的数据，一会做PPT要用”。可是不想直接关闭当前的VIM，而且某些系统下，又不能新开tty（如设置了maxlogi

大数据处理流程