hive的分区简介

本文详细介绍了Hive的分区概念,包括分区的目的、技术细节,如分区表的创建、添加、删除以及数据加载。此外,还展示了如何在Hive中进行分区操作的实例,强调了分区对于数据查询效率和管理的重要性。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

网上有篇关于hive的partition的使用讲解的比较好,转载了:

一、背景

1、在Hive Select查询中一般会扫描整个表内容,会消耗很多时间做没必要的工作。有时候只需要扫描表中关心的一部分数据,因此建表时引入了partition概念。

2、分区表指的是在创建表时指定的partition的分区空间。

3、如果需要创建有分区的表,需要在create表的时候调用可选参数partitioned by,详见表创建的语法结构。

二、技术细节

1、一个表可以拥有一个或者多个分区,每个分区以文件夹的形式单独存在表文件夹的目录下。

2、表和列名不区分大小写。

3、分区是以字段的形式在表结构中存在,通过describe table命令可以查看到字段存在,但是该字段不存放实际的数据内容,仅仅是分区的表示。

4、建表的语法(建分区可参见PARTITIONED BY参数):

CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], …)] [COMMENT table_comment] [PARTITIONED BY (col_name data_type [COMMENT col_comment], …)] [CLUSTERED BY (col_name, col_name, …) [SORTED BY (col_name [ASC|DESC], …)] INTO num_buckets BUCKETS] [ROW FORMAT row_format] [STORED AS file_format] [LOCATION hdfs_path]

5、分区建表分为2种,一种是单分区,也就是说在表文件夹目录下只有一级文件夹目录。另外一种是多分区,表文件夹下出现多文件夹嵌套模式。

a、单分区建表语句:create table day_table (id int, content string) partitioned by (dt string);单分区表,按天分区

# Hive 分区详解 ## 1. 分区基本概念 Hive分区是一种将数据按照某个或某些列的值进行物理划分的技术,主要目的是提高查询效率。 ### 分区特点: - **物理存储**:每个分区对应HDFS上的一个独立目录 - **查询优化**:查询时只扫描需要的分区,减少I/O - **管理便利**:可以单独对某个分区进行操作 ## 2. 分区类型 ### (1) 静态分区 ```sql -- 创分区 CREATE TABLE employees ( id INT, name STRING, salary FLOAT ) PARTITIONED BY (dept STRING, year INT); -- 加载数据到特定分区 LOAD DATA LOCAL INPATH '/path/to/data' INTO TABLE employees PARTITION (dept='IT', year=2023); ``` ### (2) 动态分区 ```sql -- 启用动态分区 SET hive.exec.dynamic.partition=true; SET hive.exec.dynamic.partition.mode=nonstrict; -- 从已有动态插入数据 INSERT INTO TABLE employees PARTITION(dept, year) SELECT id, name, salary, dept, year FROM source_table; ``` ## 3. 分区管理操作 ### (1) 查看分区 ```sql SHOW PARTITIONS employees; -- 查看特定分区 SHOW PARTITIONS employees PARTITION(dept='IT'); ``` ### (2) 添加分区 ```sql ALTER TABLE employees ADD PARTITION (dept='HR', year=2023); ``` ### (3) 删除分区 ```sql ALTER TABLE employees DROP PARTITION (dept='HR', year=2023); ``` ### (4) 修改分区 ```sql -- 修改分区值 ALTER TABLE employees PARTITION (dept='OLD', year=2023) RENAME TO PARTITION (dept='NEW', year=2023); -- 修改分区位置 ALTER TABLE employees PARTITION (dept='IT', year=2023) SET LOCATION '/new/location'; ``` ## 4. 分区优化议 1. **合理选择分区键**:选择高基数列且常用作查询条件的列 2. **避免过度分区**:分区数量过多会导致小文件问题 3. **分区大小均衡**:尽量使各分区数据量均匀分布 4. **考虑分区粒度**:按日、月或年分区取决于查询需求 ## 5. 分区与分桶对比 | 特性 | 分区 | 分桶 | |------|------|------| | 划分方式 | 按列值 | 按哈希值 | | 存储方式 | 不同目录 | 不同文件 | | 主要用途 | 减少扫描范围 | 提高join效率 | | 数量影响 | 不宜过多 | 可较多 |
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

sisi.li8

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值