Spark日志分三部分:
1.Client日志:就是我们spark-submit一个Application的时候在屏幕上可以看到的日志,Spark的一行日志能够看出是哪个类输出的日志,这有助于理解每个类在哪个机器上执行.Client日志最重要的还是记录了SparkContext启动过程的初始化过程.
如下图,前面红框表示类.
2.Master日志,Master日志主要记录了App的注册和Master启动Executor的过程,从日志中可以看出,app在注册的时候,Master会给App分配一个appid,这个id是唯一的,能够在不同机器上面对同一个appid进行追终.Master日志在启动Master的机器的$SPARK_HOME/logs下.
3.Worker日志 : 记录了ExecutorBackend的启动方式,这个启动就可以注册Executor了,并且记录了每个ExecutorRunner启动和关闭Tasker的过程,从日志启动ExecutorBackend的指令可以看出,一个Executor是可以有多个cores的.