hive分区和分桶

1.Hive定义分区/分桶表

2.Hive分区表/分桶表描述

Hive分区表描述回顾
分区列的值将表划分为文件夹
查询时使用“分区”列和常规列类似
查询时Hive自动过滤掉不用于提高性能的分区
Hive分桶表描述回顾
分桶是相对分区进行更细粒度的划分
根据“桶列”的哈希函数将数据进行分桶
更高的查询处理效率
 
3.Hive操作分区/分桶类型及设置
 •Hive分区
•静态分区
•动态分区
#使用动态分区需设置
set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;
Hive分桶
•动态分桶
#使用动态分桶需设置
set hive.enforce.bucketing = true;

4、hive操作分区