Hive分区的概念

最新推荐文章于 2025-06-12 20:09:59 发布

原创最新推荐文章于 2025-06-12 20:09:59 发布 · 7.6k 阅读

12 ·

CC 4.0 BY-SA版权

文章标签：

#hive

hadoop-hive 专栏收录该内容

6 篇文章

订阅专栏

Hive分区与分桶：

在使用sqoop进行Hive与关系数据库的导入导出时，在sqoop的命令中看到有对Hive分区进行指定的参数，之前对Hive了解并不够细致，今天就专门对Hive的分区和分桶两个概念进行的实验。
在正文开始之前，先讲一下我对Hive分区、分桶的理解。这个东西吧，其实就是一种物理上的“索引”，将总数据按规则分装到各个小区中并打上标签，查询指定标签的数据时只用遍历该小区的数据即可（原本需要遍历所有数据）。一下就懂了。。。。

1.Hive分区的概念

Hive分区的概念与传统关系型数据库分区不同。
传统数据库的分区方式：就oracle而言，分区独立存在于段里，里面存储真实的数据，在数据进行插入的时候自动分配分区。
Hive的分区方式：由于Hive实际是存储在HDFS上的抽象，Hive的一个分区名对应一个目录名，子分区名就是子目录名，并不是一个实际字段。按照数据表的某列或某些列分为多个区，区从形式上是文件夹（HDFS里的文件夹）

2.Hive分区与索引的区别

在我看来两者的作用和目的是一样的，为了优化查询速度。那么两者有什么区别呢。Hive分区是物理上的分割缩小了遍历范围（但是必须事前知道正确的标签，“明确目标的查询优化”）；索引是逻辑上的映射，通过先遍历索引表确定数据范围（Hive实现索引的方式就是建立一个索引的表与主表关联，“泛用的查询优化”）

1.建立分区表

create table t_test (id int) partitioned by (type string) row format delimited fields terminated by '\t';

创建分区表的时候，要通过关键字 partitioned by （type string）声明该表是分区表，并且是按照字段type进行分区，type值一致的所有记录存放在一个分区中。同时也可以依据多个列进行分区，即对某个分区的数据按照某些列继续分区。

【注】分区，是将满足某些条件的记录打包，在查询时提高效率，相当于按文件夹对文件进行分类。这个分区字段形式上存在于数据表中，在查询时会显示到客户端上，但并不真正在存储在数据表文件中。并不是对真正存在的列按照属性值的异同进行分区。eg.例子中的type并不真正的存在于数据表中，这个列的值不是从数据表中读取的，而是人为设定，然后根据值的不同将其分区。我们并不能按照某个数据表中真实存在的列来分区。

2.导入数据

load data local inpath '~/test' into table t_test partition (type='test')

向分区表导入数据的时候，要通过关键字partition（type='test'）显示声明数据要导入到表的哪个分区

3.查看结果

1）文件系统中的效果
这里写图片描述
2）查询结果的效果

文件中记录的数据只有id，但是查询出来的数据却多出了一列‘test’,这一列就是我们设定的分区字段。

查看表结构可以看出多出的一列为type，下面也说明该列是分区字段。