【Spark实战系列】spark 各种报错汇总以及解决方案(持续更新中)

这篇文章主要记录下spark中遇到的各种问题,以及解决方法(以后会持续的更新)

1.File does not exist. Holder DFSClient_NONMAPREDUCE_-67513653_1 does not have any open files

今天早上发现程序报了一个这个错误,目前还没找到报错的原因,先记录一下吧.

2.org.apache.kafka.clients.consumer.OffsetOutOfRangeException: Offsets out of range with no configured reset policy for partitions

这个报错是因为startoffest越界了,在设置offest的判断一下就好了.

3,Cannot use map-side combining with array keys

这个报错是因为应该使用flatMap的,但是却用了map,这两者的区别请看这里.

4,KafkaConsumer is not safe for multi-threaded access

报这个错其实是spark的一个bug,在spark2.1.0和spark2.2.0会出现,2.4.0已经修复

issues列表:https://issues.apache.or