spark sql 报错：java.lang.IndexOutOfBoundsException: toIndex = 5

原创于 2019-03-15 10:39:32 发布 · 5.5k 阅读

CC 4.0 BY-SA版权

文章标签：

1 篇文章

订阅专栏

1 篇文章

订阅专栏

本文解析了SparkDataFrame在处理分区字段时常见的错误——将分区字段写入文件而非目录，导致数组下标越界的问题。介绍了正确的做法是使用partitionBy接口，并提供了正确的代码示例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

字面意思就是数组下标超了，这个越界的原因是：spark dataframe在写数据到hadoop的时候，在存储文件中把分区字段也写进去了，正确的是分区字段不能写到文件中，而是作为文件目录。

以下是错误的代码：

case class myrow(pin:String, tag:String, dt:String)
rdd.map(x=>myrow(x._1,x._2,yesterday)).toDF().write.save(path+s"dt=$yesterday")

可以看到，dataframe中包含dt这个分区字段，同时保存的路径里也包含这个dt字段，所以正确的做法是调用dataframe的partitionBy接口，保存路径不用指定分区字段：

rdd.map(x=>myrow(x._1,x._2,yesterday)).toDF().write.partitionBy("dt").save(path)

另外，比较奇怪的一点是：刚开始错误的保存后，HIVE依然可以正常读数，但是spark sql不可以，还以为碰到什么大bug了。。