hive 自动加载数据多分区目录

在使用hive建表加载数据时，如果是一个分区，那么用alter table mytable ADD IF NOT EXISTS PARTITION(p1='p1') location 'hdfs://xxx' 或者直接用msck repair table mytable都可以将指定目录的数据加载到分区

但是对于多级目录来说，比如

• /data/year=/month=/day=/source1/abc.log
• /data/year=/month=/day=/source2/def.log

这种结构，如果创建表的时候分区为year,month,day,那么 可以用add partition 方式是可以加载数据到指定分区，但是msck会报错，主要原因是msck必须要目录结构满足：

/partition_name=partition_value/

且不能包含特殊字符

当多级目录时，这时候会有/特殊字符，那么可设置hive.msck.path.validation为skip或者ignore 就可以了

set hive.msck.path.validation = ignore