spark-shell启动报错:./spark-shell: line 44: 5271 已杀死

在使用Spark集群时遇到启动spark-shell报错,通过检查Spark WebUI和executor日志,发现是内存不足导致的问题。增大executor-memory值并避免使用小数,最终解决问题,成功启动Spark Shell。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

最近接触Spark的,在已经配置好的集群master上启动spark-shell时,出现此错误。除此之外,命令行再无其他提示信息,上下滚动,就连ERROR提示都没发现,很是疑惑。

解决步骤如下:

1. 先是打开spark webui,查看Completed Applications,按照Submitted Time,找到最新的一条启动记录,打开:


查看application详细:(当然,以下截图,是启动成功的。启动失败的,State列为killed


找到Logs列,打开stderr,发现以下错误提示:

ERROR executor.CoarseGrainedExecutorBackend: RECEIVED SIGNAL 15: SIGTERM ver


2. 紧接着查找此错误,但是网上搜到的大多和spark无关,只在一篇文章下,看到,可能是内存问题,可通过加大excutor-memory值的方式解决。然后开始尝试,

把master和多个slave的memory改大。原以为这样就行了,但是此处出现了一点点意外。 由于机器配置了很多环境,可用内存不多,所以就暂且都改成了小数*.5的形式。

但是在启动的时候竟然发现slave启动不了,只是提示了failed launch...。提示虽然简单,但是已经很明显了。果断开始查看启动日志,在slave机器上找到对应日志,查看:


想到可能是设置的测试值为小数问题,接着回去找到配置文件,将内存值设置改

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值