Spark读Hive分区表报错：Caused by: org.apache.hadoop.mapred.InvalidInputException: Input path does not exist

前言

之前删除Hive分区表的时候，直接用hadoop fs -rm -r 命令删除了hdfs上的分区目录，然后用spark读取hive的这个表的时候，就报错了：

Caused by: org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: hdfs://nameservice1/data/source/ads/ads_table_test/statis_month=201908/day=11

但是用Hive读取的时候就是正常的

原因分析

删除Hive分区目录如果直接用hadoop fs -rm -r 删除那么，分区目录的确是不存在了，但是表的结构信息依然存在，用spark读取的时候会先找到表的元数据信息，一看有这个分区，然后就去加载，可到hdfs读取该目录的时候，却发现根本不存在，所以就报错。

解决方法

删除分区目录时，同时执行：

alter table test drop partition (p='xxx')

把对应的分区也删除掉就可以了。
如果已经删除了分区目录，也需要执行上以上的命令。

参考