大数据-------Job 提交流程

最新推荐文章于 2024-04-27 20:35:19 发布

JY2991

最新推荐文章于 2024-04-27 20:35:19 发布

阅读量314

点赞数

文章标签：大数据

原文链接：http://www.cnblogs.com/jia-0112/p/11433104.html

版权

1. 建立连接：判断是在本地运行还在集群中运行，会分别创建不同的运行对象Local和Yarn；

2. 提交 Job ：

校验空间：checkSpace() -------》缓存处理 -------》创建资源路径：Stag 路径 ------》

获取JobId，在Stag下创建Job路径 -------》拷贝相关资源到集群 -------》计算切片，生成切片规划文件

-------》向Stag路径写XML配置文件 -------》提交Job，等待返回提交状态

转载于:https://www.cnblogs.com/jia-0112/p/11433104.html

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

JY2991

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

大数据入门--Flink（一）安装与Job提交方式

书山有路，学海无涯

09-04

723

Flink安装与Job部署组件介绍安装方式Standalone模式YarnSession ModelPer-Job ModeApplication Mode 学习版本：1.13.2 组件介绍参考文档必须组件组件介绍实现 Flink Client 编译batch或者streaming应用为数据流图，然后提交给JobManager Command Line InterfaceREST EndpointSQL ClientPython REPLScala REPL JobMana

大数据之MR Job案例

louiezhang1215的博客

10-19

822

1 创建运行MapReduce作业的文件目录 2 将input文件发送到到分布式文件系统中并检查是否成功 3 测试案例在生产上，map和reduce是分步运行的，map运行到50%时reduce开始运行，对于小的数据文件，map运行到100%reduce才开始运行。在资源不够的情况下会报错，会尝试提交其他资源，重新上传资源，其每次输出的文件夹都不一样，因为系统不会覆盖原来的输出文件，...

参与评论您还未登录，请先登录后发表或查看评论

hadoop job 数量_大数据学习篇之Hadoop

weixin_30431923的博客

12-21

320

Hadoop的设计架构模式，集中管理 Hadoop 几个主要产品的架构设计，它们都有相似性，都是一主多从的架构方案。HDFS，一个 NameNode，多个 DataNode；MapReduce，一个 JobTracker，多个 TaskTracker；Yarn，一个 ResourceManager，多个 NodeManager。事实上，很多大数据产品都是这样的架构方案：Storm，...

大数据开发之Job提交流程源码和切片源码详解

m0_58371965的博客

08-18

182

1．Job提交流程源码详解 waitForCompletion() submit(); // 1建立连接 connect(); // 1）创建提交Job的代理 new Cluster(getConfiguration()); // （1）判断是本地yarn还是远程 initialize(jobTrackAddr, conf); // 2 提交job submitter.submitJobInternal(Job.this, cluster) // 1）创建给集群提交数据的Stag路径

YARN的job提交过程

Faith_xzc

07-19

671

YARN的job提交过程job提交过程示意图job提交过程详解1.作业提交2.作业初始化3.任务分配4.任务运行5.进度和状态更新6.作业完成 job提交过程示意图 job提交过程详解 1.作业提交（1）Client调用job.waitForCompletion方法，向整个集群提交MapReduce作业。（2）Client向RM申请一个作业id。（3）RM给Client返回该job资源的提交路径和作业id。（4）Client提交jar包、切片信息和配置文件到指定的资源提交路径。（5）Client

2024-JAVA-大数据-面试汇总_大数据java部门面试(1)

2401_84141419的博客

04-27

836

1,sex 改为age,非空，默认值为02 统计035号课程分数大于036号课程分数的学生ID3 统计所有003班学生各门功课的课程名称和平均分以上是所有的面试题，在写sql的时候，卡了好久，因为好久没写过三表联查，子查询的sql，差不多忘了，后来下线时，一度以为自己挂了，但是过了一个多小时之后，看了一下状态，面试一轮通过，可能是面试官看我前面的问题答得还可以让我过吧。只是这问题量着实有点多。希望尽快约下轮面试。

云帆大数据----04 MapReduce入门编程、框架原理、

10-21

MapReduce的编程模型非常简洁明了，主要包括输入输出类型、Job提交流程、Map和Reduce函数的编写。输入数据会被分割成多个片段（Splits），每个片段被分配给一个MapTask进行处理。在Map阶段，数据会根据键值对（Key-...

2024-JAVA-大数据-面试汇总_大数据java部门面试(2)

最新发布

2401_84141419的博客

04-27

806

RDD就是弹性分布式数据集，可以理解为一种数据结构，拥有多种不同的RDD算子。

大数据--spark生态2--spark架构和rdd总结

数据挖掘+大数据研发+算法学习

05-31

404

一：Spark特点运行速度快：Spark使用先进的有向无环图（DAG）执行引擎，以支持循环数据流与内存计算。

大数据--spark生态7--spark的shuffle过程详解

数据挖掘+大数据研发+算法学习

04-13

2823

目录一：理解shuffle 二： shuffle write 2.1 shuffle write的目标 2.2 shuffle write的位置 2.3 桶（bucket） 2.4 默认分区算法 2.5 bucket数量太多的解决方案三： shuffle read 3.1 在什么时候fetch 3.2 边fetch边处理还是一次性fetch完再处理？ 3.3 fetch来的数据存放在哪？ 3.4 如何获得要fetch的数据的存放位置？ 3.5 reduce端的shuffle

大数据开发面试部分：Hadoop 中 job 和 task 之间的区别是什么（大数据开发面试）

wyqwilliam的博客

07-13

5221

JobTracker 是一个 master 服务，软件启动之后 JobTracker 接收 Job，负责调度 Job的每一个子任务， task 运行于 TaskTracker 上，并监控它们，如果发现有失败的 task 就重新运行它。一般情况应该把 JobTracker 部署在单独的机器上。 TaskTracker 是运行在多个节点上的 slaver 服务。TaskTracker 主动与 Job...

大数据开发面试部分：如何决定一个job的map和reduce的数量（大数据开发面试）

wyqwilliam的博客

07-13

2989

splitSize=max{minSize,min{maxSize,blockSize}} map数量由处理的数据分成的block数量决定default_num = total_size / split_size; reduce的数量job.setNumReduceTasks(x);x 为reduce的数量. ...

hadoop job解决大数据量关联时数据倾斜的一种办法

weixin_34376562的博客

09-01

341

http://www.geminikwok.com/2011/04/02/hadoop-jobè§£å³å¤§æ°æ®éå³èæ—¶æ°æ®å¾æçä¸ç§åæ³/ 数据倾斜是指，map /reduce程序执行时，reduce节点大部分执行完毕，但是有一个或者几个reduce节点运行很慢，导致整个程序的处理时间很长，这是因为某一个key的条数比其他ke...

大数据组件之spark中job的一系列过程如下

sandy

10-26

711

1.Job，大数据的任务基本上都是按照job进行提交的。具体的l流程如下示：（1）第一个过程：didbuild operator DAG:主要是RDD转换为DAG的一个过程，RDD对象，一个RDD连接着一个RDD,第一阶段创建了RDD之后，第二个阶段就是进行spilt graph into stages of tasks:主要是完成finalStage的创建以及和Stage的划分。 ...

解决 hadoop调用job.waitForCompletion(true);这个函数为false和返回空指针

qq_21277357的博客

09-16

6061

第一步把linux的hadoop-2.6.0-cdh5.15.1.tar 下载到本地第二步以管理员方式解压hadoop-2.6.0-cdh5.15.1.tar 第三步把对应版本的hadoop.dll(这个去https://github.com/steveloughran/winutils（/bin目录下）找对应的版本,我这边是2.6的版本),放到C:\Windows\System3...

Bash中的job管理

专注、专心

10-23

4401

本来不准备写这篇博客的，因为任务管理（job管理）非常非常常用，以至于觉得根本没有必要去写这样一个东西。但想了下，还是记录一下吧，也许有人会用到呢。　　不知你是否碰到过这样的情况，当你兴致勃勃的打开VIM,写代码写到正酣时，运营MM或者产品MM气喘吁吁的跑过来：“赶紧帮我跑一下xx的数据，一会做PPT要用”。可是不想直接关闭当前的VIM，而且某些系统下，又不能新开tty（如设置了maxlogi

大数据处理流程