Hadoop-1.2.1学习之Job创建和提交源代码分析

最新推荐文章于 2024-05-12 21:25:50 发布
最新推荐文章于 2024-05-12 21:25:50 发布
阅读量3k 收藏
点赞数 1
CC 4.0 BY-SA版权
分类专栏： Hadoop-1.x Hadoop 文章标签： hadoop-1.2.1 Job JobTracker 源代码
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/skywalker_only/article/details/40508863
本文详细分析了Hadoop-1.2.1中MapReduce作业的创建和提交过程，从Job对象的初始化、Mapper和Reducer设置，到Job的submit和waitForCompletion方法，探讨了作业生命周期中的关键步骤，包括JobConf配置、JobState管理和与JobTracker的交互。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

       在Hadoop中，MapReduce的Java作业通常由编写Mapper和Reducer开始，接着创建Job对象，然后使用该对象的set方法设置Mapper和Reducer以及诸如输入输出等参数，最后调用Job对象的waitForCompletion(true)方法提交作业并等待作业的完成。尽管使用了寥寥数语就描述了作业的创建和提交，但实际情况要复杂的多，本篇文章将通过分析源代码来深入学习该过程。

       通常使用public Job(Configuration conf, String jobName)创建Job作业对象，都会指定作业名称，hadoop代码只是将jobName设置为参数mapred.job.name的值。除了设置作业名称外，Job的构造函数还会使用Configuration对象初始化org.apache.hadoop.mapred.JobConf对象conf，以及使用UserGroupInformation.getCurrentUser()获取当前用户ugi。其中JobConf是描述MapReduce作业的主要接口，包括设置作业名称在内的许多方法都是由该类完成的。UserGroupInformation类用包含了用户和组的信息，该类封装了JAAS（Java Authentication AuthorizationService，Java认证和授权服务），并提供方法确定用户名和组。

       当创建了Job对象后通常会设置Mapper和Reducer，比如job.setMapperClass，正像上面提到的，该操作实际是由JobConf对象完成的，具体代码如下，其它的设置方法类似

了解本专栏 订阅专栏 解锁全文
Hadoop学习之编译eclipse插件
skyWalker_ONLY
04-20 5737
最近准备开始学习Hadoop1.2.1的源代码，感觉最好的方法还是可以在运行Hadoop及hadoop作业时跟踪调试代码的实际执行情况。由于选择的IDE为eclipse，所以准备编译一下hadoop的eclipse插件，下面就直接进入正题。Hadoop的eclipse插件源代码位于hadoop-1.2.1/src/contrib/eclipse-plugin/中，直接进入该目录，在不做任何修改的情
hadoop基础----hadoop实战(四)-----myeclipse开发MapReduce---myeclipse搭建hadoop开发环境并运行wordcount
直到世界的尽头
09-18 9341
我们在上一章已经尝试了在在hadoop中运行MapReduce。hadoop基础----hadoop实战(三)-----hadoop运行MapReduce---对单词进行统计--经典的自带例子wordcount其实hadoop学习可以分成2部分，一部分是hadoop的运维性能优化，一部分就是hadoop开发----写MapReduce。本章我们尝试正常的开发流程----用myeclipse写wor
Hadoop-1.2.1学习之Job创建和提交源码分析
weixin_33965305的博客
08-10 136
       在Hadoop中，MapReduce的Java作业通常由编写Mapper和Reducer開始。接着创建Job对象。然后使用该对象的set方法设置Mapper和Reducer以及诸如输入输出等參数，最后调用Job对象的waitForCompletion(true)方法提交作业并等待作业的完毕。虽然使用了寥寥数语就描写叙述了作业的创建和提交，但实际情况要复杂的多。本篇文章将通过分...
Hadoop2.2.0源码系列--Job类
越努力越幸运
02-28 1121
获取Job对象Job的构造函数最直接的获取Job对象的方式@Deprecated public Job() throws IOException { this(new Configuration()); } @Deprecated public Job(Configuration conf) throws IOException { this(new JobConf(c
Hadoop中Job提交过程
FzuGsr的专栏
08-22 3571
虽然写过多次的MR程序，但是未能很好的理解整个Hadoop中的Job的任务提交过程，查看了下源码，整理了下其job的提交过程，大致为：客户端向资源管理yarn申请资源，yarn分配好相应的资源，进行作业的运行，当作业运行完成时，yarn回收资源。具体如下： 1、客户端Client提交job，会执行代码中的job.awitforcompletion(),在客户端创建了一个RunJar的进程，
hadoop客户端提交job的java代码
心有多大,人生就有多大
08-28 412
[code="java"] package com.xhb1.test; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; impor...
hadoop2 如何在执行mapreduce的时候指定job的名字
www.hohode.com
01-06 1684
如果想在执行mapreduce的时候指定job的名字,则在 public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); String[] otherArgs = new GenericOptionsParser(conf,args).ge
[Hadoop]三、Hadoop-MapReduce
最新发布
weixin_44428807的博客
05-12 339
1. MapReduce概述 2. Hadoop序列化 3. Mapeduce框架原理 4. Hadoop数据压缩 5. 常见错误及解决方案
从零开始学习Hadoop--第2章 第一个MapReduce程序
uhgrft4645的博客
05-02 1215
1.Hadoop从头说 1.1 Google是一家做搜索的公司 做搜索是技术难度很高的活。首先要存储很多的数据，要把全球的大部分网页都抓下来，可想而知存储量有多大。然后，要能快速检索网页，用户输入几个关键词找资料，越快越好，最好在一秒之内出结果。如果全球每秒有上亿个用户在检索，只有一两秒的检索时间，要在全球的网页里找到最合适的检索结果，难度很大。如果你准备了解大数据开发或是正在学习大数据开发,...
Hadoop中job提交详细过程
Joy_cj
03-28 4106
1）客户端运行hadoop jar命令的时候，通过程序中的waitForCompletion(true),进行job的提交，jobPI等等，其中主要的一个工作就是和集群建立连接，会创建一个yarnRunner（实际上是创建resMgrDelegate）代理对象，这个对提交的时候会调用job.submit(),方法进行提交，此方法中会进行一系列的工作，比如确定job的状态，设置新的A象实际上是一个通...
【hadoop】job提交全过程
inner Peace的博客
06-08 9123
一、作业提交过程之 YARN（1）作业提交第 0 步：client 调用 job.waitForCompletion 方法，向整个集群提交 MapReduce 作业。第 1 步：client 向 RM 申请一个作业 id。第 2 步：RM 给 client 返回该 job 资源的提交路径和作业 id。第 3 步：client 提交 jar 包、切片信息和配置文件到指定的资源提交路径。第 4 步：c...
Hadoop中job的执行流程
YYDS_emmm的博客
06-26 1207
Hadoop中job的执行流程 （1）作业提交 第 1 步：client 向整个集群提交job,向 ResourceManager 申请一个jobid。 第 2 步：ResourceManager 给 client 返回该 job 资源的提交路径和作业 id。 第 3 步：client 提交 jar 包、切片信息和配置文件到指定的资源提交路径。 第 4 步：client 提交完资源后，向 ResourceManager 申请运行 MrAppMaster。 （2）作业初始化 第 5 步：当 Resource
MapReduce_Job提交流程源码详解
热门推荐
底层码农
03-07 1万+
版本：Apache Hadoop 2.7.2 运行环境：Windows10 Eclipse Debug:https://blog.csdn.net/qq_40794973/article/details/87876772 主要介绍的是写完mr(job) 如何提交到集群上，这一段过程它执行了哪些操作。写一个简答的 WordCount ，通过调试来看程序是如何执行的。 1、创建一个 Mav...
MapReduce框架学习（3）——Job的创建及配置
xiaozhou的博客
10-27 3232
参考：JeffreyZhou的博客园 《Hadoop权威指南》第四版 0 一个MR作业，包括三点： 输入数据 MR程序 配置信息 前面两篇学习了数据格式和MR过程（map函数和reduce函数），那么今天再讲一下配置信息，是怎么把 数据 和 程序结合起来的。 3.1 代码 打算对照代码来讲解，这样可能要有逻辑一点，不至于讲到最后都不知道自己的线索在哪。先贴上WordCount中的Job...
Kerberos authentication
hacker_zhb的博客
05-19 728
转自：http://www.sunchangming.com/blog/?p=4137   JAAS是Java 认证和授权服务（Java Authentication and Authorization Service）的缩写，是PAM框架的Java实现。 javax.sercurity.auth.Subject是一个不可继承的实体类，它表示单个实体的一组相关信息，与请求的来源相关。 ...
大数据--mapreduce作业提交源码
awys19931001的博客
08-30 296
MapReduce作业提交查看源码 1、判断job的状态 //将private Job.JobState state的值修改为DEFINE，然后执行submit（）方法； public boolean waitForCompletion(boolean verbose) throws IOException, InterruptedException, ClassNotFoundE...
【Flink】Flink跨集群访问开启Kerberos认证的Kafka
九师兄
07-30 3362
Flink提供了三个模块来对集群进行安全验证，分别是HadoopModule、JaasModule、ZooKeeperModule。安全认证相关参数对应的类SecurityOptions。HadoopModule用来对使用UserGroupInformation进行身份验证的框架（kudu、hbase同步框架、hdfs等）进行认证配置。JaasModule用来对使用JaasConfig进行身份验证的框架（kafka、zk、hbase异步框架等）进行认证配置。......
java hdfs 新建目录_如何用java在hdfs中创建一个新目录？
weixin_34504277的博客
02-13 1006
public static void main(String[] args) throws IOException, URISyntaxException{????????????配置config = new Configuration();config.set("fs.default.name","hdfs://127.0.0.1:50070/dfshealth.jsp");FileSystem...
seek接口
浩瀚之水的专栏
04-18 718
seek接口用来对设备的读写位置进行定位。file_operations结构中对应的seek接口如下： loff_t (*llseek) (struct file *filp, loff_t off, int whence)  其中off是偏移量，whence参数指起点位置。 例1.6  字符设备seek实例 代码见光盘\src\1drivermodel\1-6lseek。核心
Hadoop初学者入门：hadoop-1.2.1-bin.tar.gz部署指南
标题：“hadoop-1.2.1-bin.tar.gz” 知识点： 该文件“hadoop-1.2.1-bin.tar.gz”是Hadoop 1.2.1版本的二进制分发包的压缩文件。Hadoop是由Apache软件基金会开发的一个开源分布式存储与计算框架，是大数据处理的基石...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

skyWalker_ONLY

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值