Spark日志研究

本文探讨了Spark的日志系统,详细解析了其日志分为驱动器、executor和应用程序日志三大部分,深入理解Spark运行时的日志信息对于故障排查和性能优化至关重要。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Spark日志分三部分:

1.Client日志:就是我们spark-submit一个Application的时候在屏幕上可以看到的日志,Spark的一行日志能够看出是哪个类输出的日志,这有助于理解每个类在哪个机器上执行.Client日志最重要的还是记录了SparkContext启动过程的初始化过程.
如下图,前面红框表示类.


2.Master日志,Master日志主要记录了App的注册和Master启动Executor的过程,从日志中可以看出,app在注册的时候,Master会给App分配一个appid,这个id是唯一的,能够在不同机器上面对同一个appid进行追终.Master日志在启动Master的机器的$SPARK_HOME/logs下.


3.Worker日志 : 记录了ExecutorBackend的启动方式,这个启动就可以注册Executor了,并且记录了每个ExecutorRunner启动和关闭Tasker的过程,从日志启动ExecutorBackend的指令可以看出,一个Executor是可以有多个cores的.



评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值