Spark SQL java.lang.StackOverflowError 异常处理
前言之前写了一个hive业务数据ETL后导出的程序,通过通过SparkSQL实现的,当时的需求是每天导出前一天的数据。数据在hive中是有年月日分区的,为了提高效率,所以我在where条件里面每天动态生成了需要的分区条件。一直运行都没什么问题。最近需要一次导出一年的数据,我就在担心这下动态生成的分区条件肯定特别长。哈哈,果然,程序一跑在spark解析SQL的时候就报错了,错误如下:Exce...
原创
2018-08-31 10:51:03 ·
8432 阅读 ·
2 评论