超级会员免费看
本文分析了Spark程序中executor.CoarseGrainedExecutorBackend接收到TERM信号的问题，探讨了动态分区可能导致的executor死亡现象。当executor空闲时间超过60s，Spark动态分配机制可能会移除executor。解决方法包括忽略错误日志或关闭动态分区。同时介绍了CoarseGrainedExecutorBackend在Spark中的角色和功能，以及TERM信号的含义和可能的触发原因。
Bug现象
spark程序运行正常，但是查看web ui的时候如下图所示：
查看executor logs发现：
ERROR executor.CoarseGrainedExecutorBackend: RECEIVED SIGNAL TERM
原因分析
首先程序能够正常运行，只是发现某些executor状态为Dead了，说明该executor被移除了，至于为什么会被移除，就得理解spark的动态分区了，这部分内容请参考这篇博客。
大概的意思就是当把spark.dynamicAllocation.enabled参数设置为true的时候Spark自动根据任务的负载情况增加或减少执行者的数量。当exec
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
