这里我们直接用实例来讲解,Hive外部分区表有单分区多分区的不同情况,这里我们针对不同情况进行不同的方式处理。
- 利用overwrite合并单独日期的小文件
1、单分区
# 开启此表达式:`(sample_date)?+.+`
set hive.support.quoted.identifiers=none;
# 此sql是将20230713分区的小文件进行合并
# `(sample_date)?+.+`:表示select 出除了sample_date分区字段以外的所有字段(字段较多的时候用这种方式很便捷)
insert overwrite table `test`.`table`
partition(sample_date='20230713')
sel