Spark提交任务到Yarn并查看任务日志

最新推荐文章于 2024-06-26 11:02:49 发布

原创最新推荐文章于 2024-06-26 11:02:49 发布 · 1.1k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#spark #大数据 #hadoop

大数据同时被 2 个专栏收录

17 篇文章

订阅专栏

Spark专栏

6 篇文章

订阅专栏

本书《图解Spark大数据快速分析实战》由王磊撰写，旨在帮助读者深入理解Spark内核及其实战应用。书中通过实际案例介绍了如何使用spark-submit命令提交任务，并通过YARN进行资源管理和调度。此外，还详细讲解了如何监控和调试Spark应用程序，包括如何查看任务状态和日志。

想要更全面了解Spark内核和应用实战，可以购买我的新书。

图解Spark 大数据快速分析实战（作者：王磊）

任务提交

spark-submit --master  yarn --deploy-mode cluster  --class org.apache.spark.examples.SparkPi /usr/local/service/spark/examples/jars/spark-examples_2.12-3.0.2.jar 100

列出所有任务

yarn application -list -appStates ALL

找到对应任务查看日志。

Total number of applications (application-types: [], states: [NEW, NEW_SAVING, SUBMITTED, ACCEPTED, RUNNING, FINISHED, FAILED, KILLED] and tags: []):150
                Application-Id	    Application-Name	    Application-Type	      User	     Queue	             State	       Final-State	       Progress	                       Tracking-URL
application_1653303170860_0049	LOAD DATA LOCAL INPATH '/data/use...customer (Stage-1)	           MAPREDUCE	    hadoop	root.default	          FINISHED	            FAILED	           100%	http://xxxx:5024/jobhistory/job/job_1653303170860_0049

4 . 支持如果命令，查看applicationId对应的日志。

yarn logs -applicationId application_1653303170860_0049代码片