Hadoop 中JobClient 里 submitJob(JobConf) 和 runJob(JobConf) 的区别

最新推荐文章于 2020-11-22 22:34:13 发布

原创最新推荐文章于 2020-11-22 22:34:13 发布 · 8k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #polls #任务 #文档 #api

Hadoop map/reduce 专栏收录该内容

1 篇文章

订阅专栏

Hadoop中提交Job到JobTracker时，可以使用JobClient的runJob或submitJob方法。runJob是同步的，会等待任务完成返回RunningJob的句柄，而submitJob是异步的，立即返回处理中的RunningJob句柄，任务在有资源时才执行。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Hadoop提交 Job到JobTracker的时候，需要通过JobClient.runJob(JobConf) 或者 JobClient.submitJob(JobConf) 这两个静态方法来提交。但是这两个方法，前者和后者是有区别的。查看API中的文档解释：

1）runJob

runJob

public static RunningJob runJob(JobConf job)
                         throws IOException

Utility that submits a job, then polls for progress until the job is complete.

Parameters:

job - the job configuration.

Throws:

IOException

2）submitJob

submitJob

public RunningJob submitJob(JobConf job)
                     throws FileNotFoundException,
                            InvalidJobConfException,
                            IOException

Submit a job to the MR system. This returns a handle to the RunningJob which can be used to track the running-job.

Parameters:

job - the job configuration.

Returns:

a handle to the RunningJob which can be used to track the running-job.

Throws:

FileNotFoundException

InvalidJobConfException

IOException

可以看出，runJob是同步的，提交任务后要等待处理直到完成以后，才会返回RunningJob的handle；而submitJob是异步的，会返回一个处理中的RuningJob的handle，然后等有资源的时候，才会真正的去执行提交的任务。