Spark任务报java.lang.StackOverflowError

Spark任务报java.lang.StackOverflowError

简介

日前遇到一个问题，在提交一个spark任务（提交模式:yarn-client），去读取2000+个字段的hive表时，报出一个错误：java.lang.StackOverflowError，于此分析记录一下问题。

问题分析

此问题的原因在于，通过sparksession去读取hive表时，会在 driver 端去解析语法树，和SQL执行计划，由于字段过多，产生大量引用，占用较多栈空间，而默认情况下，Java栈空间只有1M大小，因此报错了。

几点需要明确的

1.首先明确，解析语法树，是在driver端，报错也是driver报的，与executor没有什么关系，因此，需要修改的配置也是关于driver的。
2.也是由于问题是driver爆出来的，但是driver如果在yarn-cluster模式下，由于driver是被yarn根据一定的资源调度规则随机分配到某个node上，所以这种情况下，有可能就需要改动每个nodemanager的配置了（只是这样猜想，因为我的提交是yarn-client，能够确定driver的位置，所以能够确切知道该改哪里的配置）
3.有可能你会说在spark-submint提交命令里，可以指定参数，我的确这样尝试了，但是没有效果，不知道是环境问题还是配错了。小伙伴们可以尝试一下。

操作步骤

1.连接上提交spark-submit的服务器，输入下面命令，可以看看默认的栈大小，我的是1M

java -XX:+PrintFlagsFinal -version | grep ThreadStackSize

2.找到spark的配置文件，每个人的环境不一样，这里就不贴路径了，编辑之</