hadoop2获取job执行进度

最新推荐文章于 2021-06-26 15:21:09 发布

转载最新推荐文章于 2021-06-26 15:21:09 发布 · 2.3k 阅读

文章标签：

#hadoop

hadoop 专栏收录该内容

25 篇文章

订阅专栏

本文介绍如何使用 org.apache.hadoop.mapreduce.Job 中的 mapProgress 和 reduceProgress 方法来监控 Hadoop 任务的进度。

zhuan:http://www.aboutyun.com/thread-7996-1-1.html

org.apache.hadoop.mapreduce.Job.mapProgress() 
org.apache.hadoop.mapreduce.Job.reduceProgress()
http://hadoop.apache.org/docs/current/api/org/apache/hadoop/mapreduce/Job.html

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

mllhxn

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

大数据领域Hadoop集群搭建的详细步骤

AI天才研究院

05-08

890

Hadoop是Apache基金会开发的分布式计算框架，核心组件HDFS（分布式文件系统）和YARN（资源管理系统）支撑了海量数据的存储与计算。本文聚焦Hadoop 3.3.6版本的集群搭建，覆盖单Master多Slave的基础架构（生产环境可扩展为HA高可用架构），适用于企业级数据仓库、日志分析、离线计算等场景。核心概念：解析Hadoop架构与组件职责；环境准备：操作系统、网络、JDK配置；集群搭建：配置文件修改、节点分发、启动流程；验证与调优：健康检查、性能参数调整；

Hive on Mr Job重复执行问题排查

u013332124的专栏

06-05

3万+

文章目录一、问题描述二、问题排查进度三、Hive执行任务的具体逻辑3.1、Hive源码解析3.2、生成重复job问题分析四、问题总结和代码修复一、问题描述业务反馈某张表的落地数据总大小比平时多了一倍。平时正常落地6-7G，而这次落地的数据量有14G。后该任务重跑后数据恢复正常：表落地数据使用的相关sql如下(为了不暴露公司相关业务信息，只展示sql的主体结构)： set mapreduce.job.queuename=xxxxx; insert overwrite table xxxxxxxx

参与评论您还未登录，请先登录后发表或查看评论

通过Hadoop的API管理Job

dajuezhao的专栏

07-07

1万+

一、背景前些时候写了一篇这样的文档，由于当时的时间比较紧，且有些细节内容不太好细说，于是写的比较粗。之后也有些朋友发邮件给我，问我要详细的过程以及管理方式。于是，今天就像把这个内容细化，写在这里，供大家参考。二、环境简述Ø 操作系统Linux、JDK1.6Ø Hadoop 0

hadoop2.0(chd4) 通过API获取job信息

weixin_30315435的博客

12-11

150

hadoop 版本儿：hadoop-2.0-cdh4.3.0 想做一个hive的命令的schedule，所以必须获取正在运行的job的数量。到网上查了一通，一开始用了JobClient，怎么弄都是Null pointor Exception，非常郁闷，不得已看了代码，发现在jobclient初始化的时候出现了这句话： setConf(conf); String tracker...

如何杀掉当前正在执行的hadoop任务

热门推荐

lxpbs8851的专栏

08-28

4万+

列出当前hadoop正在执行的jobs: [hadoop@192.168.10.11 hadoop-0.20.2-cdh3u3]$ hadoop job -list 10 jobs currently running JobId State StartTime UserName Priority SchedulingInfo job_2012

Hadoop中job的执行流程

YYDS_emmm的博客

06-26

1238

Hadoop中job的执行流程（1）作业提交第 1 步：client 向整个集群提交job,向 ResourceManager 申请一个jobid。第 2 步：ResourceManager 给 client 返回该 job 资源的提交路径和作业 id。第 3 步：client 提交 jar 包、切片信息和配置文件到指定的资源提交路径。第 4 步：client 提交完资源后，向 ResourceManager 申请运行 MrAppMaster。（2）作业初始化第 5 步：当 Resource

hadoop的java接口_使用Java Hadoop URL 接口读取数据

weixin_39688378的博客

02-23

253

要从Hadoop文件系统读取文件,最简单的方法是使用java.net.URL对象打开数据流不过使用这种方式需要先让虚拟机识别hadoop的URL数据流, 通过以下静态块实现不过这种方式也有局限性, 每个java虚拟机只能调用一次这个方法, 因此通常在静态方法中调用如果你醒目中的其他模块也需要使用这一方法,这种方式可能并不可取package hadoop.cat;import java.io.IOE...

Hadoop框架--Job提交流程--本地模式

weixin_42238367的博客

01-29

1581

1.job.waitForCompletion(true); /** * 主要是将任务提交到集群中去并等待完成 * boolean verbose：是否将进度打印给用户看 * return 任务成功返回true */ public boolean waitForCompletion(boolean verbose ) throws IOException, InterruptedException,

Hadoop Mapreduce执行流程

杯莫廷的博客

12-17

674

Hadoop MapReduce作业执行流程整个 Hadoop MapReduce 的作业执行流程如图所示 1、提交作业客户端向 JobTracker 提交作业。首先，用户需要将所有应该配置的参数根据需求配置好。作业提交之后，就会进入自动化执行。在这个过程中，用户只能监控程序的执行情况和强制中断作业，但是不能对作业的执行过程进行任何干预。提交作业的基本过程如下。 1）客户端通过 Runjob...

记Hadoop2.5.0线上mapreduce任务执行map任务划分的一次问题解决

beliefer的博客

07-14

1万+

近日在线上发现有些mapreduce作业的执行时间很长，我们需要解决这个问题。输入文件的大小是5G，采用了lzo压缩，整个集群的默认block大小是128M。本文将详细描述这次线上问题的排查过程。

【hadoop】job提交全过程

inner Peace的博客

06-08

9158

一、作业提交过程之 YARN（1）作业提交第 0 步：client 调用 job.waitForCompletion 方法，向整个集群提交 MapReduce 作业。第 1 步：client 向 RM 申请一个作业 id。第 2 步：RM 给 client 返回该 job 资源的提交路径和作业 id。第 3 步：client 提交 jar 包、切片信息和配置文件到指定的资源提交路径。第 4 步：c...

Hadoop作业提交解决

Stereo

03-18

1035

最近几天一直在纠结hadoop作业提交的问题，对于命令行提交作业以及在集群中提交作业这里不再赘述，不会就去Google吧！我们在客户机提交作业的时候总是发现出错，eclipse总是报jar file not found 的错误！我们知道客户端提交任务的时候，使用方法job.setWaitForCompletion(true)的时候，这个方法会调用job的submit()方法，sub

yarn监控--获取任务的状态信息

阿华田的博客

03-26

1万+

简介生产环境大多数任务都会提交到yarn上去运行，所有如何获取任务在yarn上的状态以及信息，非常重要。如果能获取任务在yarn上的状态和信息，那么我们就能及时发现任务出现的问题。我们可以通过java或者python去获取yarn任务的信息。 java版第一步：把yarn-site.xml文件导入到监控系统（meavn工程）的resources文件下第二步：添加...

查看yarn当前运行任务列表

07-22

1万+

Author： kwu --- 查看yarn当前运行任务列表，可使用如下命令查看：

hadoop提交作业------>yarn提交job的源码跟踪

小虹尘的博客

12-11

1162

一、流程分析图二、代码跟进 waitForCompletion(){ submit() } ------> class job{ private Cluster cluster; submit(){ connect(){ cluser = new Cluster(getConfiguration() //持有Client的引用，作为job的成员变量

Hadoop运行的job作业的时候有具体十个步骤(能力工场--整理)

weixin_34249678的博客

08-17

194

Hadoop运行的job作业的时候有具体十个步骤,详细过程如下:public class Demo {public void main(String[] args) throws Exception {// (1)作业,表示一次MapReduce作业,包含自定义的Mapper和ReducerJob job = new Job(new Configuration());// (...

map-reduce（job提交过程，远程调试)

eyeofeagle的博客

09-24

799

mapreduce 的job远程调试 mapreduce的job提交、运行过程 part1: mapreduce 的远程调试继续上一篇博客的 map-reduce实现map端join，部署到集群后如何调试？第一步：server端配置（hadoop文件） 1, 要打包项目module为jar包, 上传到hdsf (此处我使用ubuntu , jar包放在家目录下)， 2, 再配...