spark submit打印gc信息

最新推荐文章于 2022-07-30 19:35:08 发布

转载最新推荐文章于 2022-07-30 19:35:08 发布 · 343 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/kaiwen03/p/9732691.html

文章标签：

#大数据

本文介绍如何在提交Spark任务时配置GC日志记录，通过添加特定参数至spark-submit命令，实现对垃圾回收详细信息的跟踪。了解如何定位gc.log文件及使用tail命令实时监控GC行为。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在提交spark-submit时添加参数即可

                                                                                                      //这个是集群运行名称
--conf spark.driver.extraJavaOptions="-Xloggc:/tmp/gc.log -XX:+PrintGCDetails -XX:+PrintGCTimeStamps"  --name "test02 "

这个gc.log在集群上不一定在那个节点上，需要自己找，然后查看

查看日志监控:tail -f gc.log