Hadoop框架--Job提交流程--本地模式

最新推荐文章于 2023-05-06 19:13:31 发布

原创

最新推荐文章于 2023-05-06 19:13:31 发布 · 1.5k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #java

1.job.waitForCompletion(true);

 /**
 * 主要是将任务提交到集群中去并等待完成
 * boolean verbose：是否将进度打印给用户看
 * return 任务成功返回true
 */
public boolean waitForCompletion(boolean verbose
                                   ) throws IOException, InterruptedException,
                                            ClassNotFoundException {
   
   
    //判断job状态是否为define，避免二次提交，JobState为枚举：DEFINE,RUNNING
    if (state == JobState.DEFINE) {
   
   
      submit();//将任务提交到集群 --> 1.1 submit（）
    }
    if (verbose) {
   
   
      monitorAndPrintJob();
    } else {
   
   
      // get the completion poll interval from the client.
      int completionPollIntervalMillis = 
        Job.getCompletionPollInterval(cluster.getConf());
      while (!isComplete()) {
   
   
        try {
   
   
          Thread.sleep(completionPollIntervalMillis);
        } catch (InterruptedException ie) {
   
   
        }
      }
    }
    return isSuccessful();
  }

1.1submit()

public void submit() 
       throws IOException, InterruptedException, ClassNotFoundException {
   
   
  ensureState(JobState.DEFINE);
  // 该方法做了系统兼容，避免出现框架更新，老版本无法使用<