在使用Spark集群时遇到启动spark-shell报错，通过检查Spark WebUI和executor日志，发现是内存不足导致的问题。增大executor-memory值并避免使用小数，最终解决问题，成功启动Spark Shell。
最近接触Spark的，在已经配置好的集群master上启动spark-shell时，出现此错误。除此之外，命令行再无其他提示信息，上下滚动，就连ERROR提示都没发现，很是疑惑。
解决步骤如下：
1. 先是打开spark webui，查看Completed Applications，按照Submitted Time，找到最新的一条启动记录，打开：
查看application详细：（当然，以下截图，是启动成功的。启动失败的，State列为killed）
找到Logs列，打开stderr，发现以下错误提示：
ERROR executor.CoarseGrainedExecutorBackend: RECEIVED SIGNAL 15: SIGTERM ver
2. 紧接着查找此错误，但是网上搜到的大多和spark无关，只在一篇文章下，看到，可能是内存问题，可通过加大excutor-memory值的方式解决。然后开始尝试，
把master和多个slave的memory改大。原以为这样就行了，但是此处出现了一点点意外。 由于机器配置了很多环境，可用内存不多，所以就暂且都改成了小数*.5的形式。
但是在启动的时候竟然发现slave启动不了，只是提示了failed launch...。提示虽然简单，但是已经很明显了。果断开始查看启动日志，在slave机器上找到对应日志，查看：
想到可能是设置的测试值为小数问题，接着回去找到配置文件，将内存值设置改成整数2，重启spark-shell，成功。
3. 查看spark webui，也显示正常
以上就是此次问题的处理步骤，当然中间还有些其他问题，像重启hadoop失败等等。与此问题无关就略过了。
先记下来，以备后续查看。。
扫一扫
1990
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
