Spark提交任务Yarn-Cluster模式下任务日志的查看

前情提要

任务以cluster模式提交命令

Old:

    --name 任务名称 --master yarn-cluster

    该命令已经过时：Warning: Master yarn-cluster is deprecated since 2.0. Please use master "yarn" with specified deploy mode instead.

New:

    --name 任务名称 --master yarn --deploy-mode cluster

使用spark-submit --help查看详细命令说明

本文档最后已经贴上详细说明

 

Yarn-Cluster模式下任务日志的查看方式

1.进入yarn任务管理页面，找到对应的任务id进入该任务详情页

 

2.详情页中点击logs

 

3. Logs页面中包含任务不同阶段的日志，一般任务的输出日志如下图所示：

其它有关容器启动等日志信息也在此页面中可查看

 

 

spark-submit 附录：

Options:

  --master MASTER_URL         spark://host:port, mesos://host:port, yarn, or local.

  --deploy-mode DEPLOY_MODE   Whether to launch the driver program locally ("client") or

                              on one of the worker machines inside the cluster ("cluster")

                              (Default: client).

  --class CLASS_NAME          Your application's main class (for Java / Scala apps).

  --name NAME        &nb