[Hive基础]-- 动态分区与静态分区

oo寻梦in记

于 2019-03-02 18:24:02 发布

阅读量2.3k

点赞数 5

CC 4.0 BY-SA版权

分类专栏： Apache Hive Apache Spark 文章标签： Hive

本文链接：https://blog.youkuaiyun.com/high2011/article/details/86534490

137 篇文章 ¥19.90 ¥99.00

订阅专栏

38 篇文章 ¥19.90 ¥99.00

订阅专栏

本文介绍了Hive中的动态分区和静态分区概念。动态分区在插入数据时不需要预先指定分区，而静态分区需要手动使用alter table命令添加。通过举例说明了静态分区表和动态分区表的创建和数据加载过程，指出动态分区可以简化插入操作，根据查询结果自动分区。同时提醒注意动态分区的一些限制和配置选项。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前言

1、Hive分区的概念与传统关系型数据库分区不同。

2、传统数据库的分区方式：如oracle，分区独立存在于字段，里面存储真实的数据，在数据进行插入的时候自动分配分区。

3、Hive的分区方式：Hive实际是存储在HDFS上的抽象，Hive的一个分区名对应一个目录名，子分区名就是子目录名，并非一个实际字段。

即，当在插入数据的时候指定分区，其就是新建一个目录或者子目录，或者在原有的目录上添加数据文件。

1、动态分区：分区不固定；关键在于“动态”，不需要人为使用 alter table 命令执行添加分区

2、静态分区：分区固定，需要认为使用 alter table 命令添加分区

最大区别：动态分区与静态分区区别就是不指定分区目录，由系统自己选择。

创建学生表，以city 分区

create table t_student (name string,age int) partitioned by (city string) row format delimited fields terminated by '\t' STORED AS TEXTFILE;

了解本专栏