【Hive大数据】Hive分区表与分桶表使用详解

目录

一、分区概念产生背景

二、分区表特点

三、分区表类型

3.1 单分区

3.2 多分区

四、动态分区与静态分区

4.1 静态分区【静态加载】

4.1.1 操作演示

4.2 多重分区

4.2.1 操作演示

4.3 分区数据动态加载

4.3.1 分区表数据加载 -- 动态分区

4.3.2 操作演示

五、分桶表

5.1 分桶表概念

5.2 分桶规则说明

5.2.1 分桶基本规则

5.3 分桶完整语法树

5.4 分桶表操作演示

5.4.1 创建表

5.4.2 使用分桶表好处

---

一、分区概念产生背景

使用hive对表进行查询时，比如：select * from t_user where name =' lihua' ，hive执行这条sql的时候，一般会扫描整个表的数据，我们知道全表扫描的效率是很低的，尤其是对于hive这种最终数据的查询要走hdfs文件全表扫描效率就更低了。

事实上，在很多情况下，业务中需要查询的数据并不需要全表扫描，而是能够预知查询的数据在一定的区域中，基于这个前提，hive在建表的时候就引入了partition（分区）的概念。对应建表语法树位置如下：

二、分区表特点

分区表指的是在创建表时指定的partition的分区空间，如果需要创建有分区的表，需要在create表的时候调用可选参数partitioned by；

• 一个表可以拥有一个或者多个分区，每个分区以文件夹的形式单独存在表文件夹的目录下；

  </