[hive]hive中分区表详解

原创于 2018-07-25 17:01:45 发布 · 2.5w 阅读

0 ·

CC 4.0 BY-SA版权

SQL 同时被 2 个专栏收录

22 篇文章

订阅专栏

Hive

17 篇文章

订阅专栏

本文介绍了Hive中使用分区表的重要性和实现方式。通过具体示例展示了如何为表定义分区字段，并解释了分区如何帮助提升查询性能。同时，还提供了查看表分区的方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、数据分区的意义

例如HR对employees表进行查询的时候，经常会加上where条件指示state和country。使用分区表不仅有巨大的性能优势而且可以将表从物理上转移到和使用最频繁的用户更近的地方。

CREATE TABLE employees(
    name            STRING,
    salary          FLOAT,
    subordianates   ARRAY<STRING>,
    deductions      MAP<STRING,FLOAT>,
    address         STRUCT<street:STRING,city:STRING,state:STRING,zip:INT>
)
PARTITIONED BY (country STRING, state STRING);

Hive会创建好可以反映分区结构的子目录。事实上，除非需要优化查询性能，否则使用这些表的用户不需要关心这些“字段”是否是分区字段。

二、查看表分区

SHOW PARTITIONS tb_name;

--限制分区下的查看分区
SHOW PARTITIONS tb_name PARTITION(partition_varname='value');
--可以通过EXTENDED关键字查看分区键
DESCRIBE EXTENDED employees;