hive 动态分区插入实验

原创已于 2025-07-29 10:31:02 修改 · 1w 阅读

8 ·

CC 4.0 BY-SA版权

文章标签：

#hive #动态分区插入

于 2016-03-07 11:15:48 首次发布

Linux 专栏收录该内容

21 篇文章

订阅专栏

本文详细介绍了如何在Hive中实现动态分区插入功能，包括创建非分区表与外部分区表，使用LOAD命令进行动态分区加载，并讨论了OVERWRITE操作对现有分区的影响。同时，阐述了为何LOAD命令不支持动态分区插入。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. 实验目的

验证对分区表进行动态分区插入功能
验证是否可以使用 load 进行动态分区插入

2. 实验步骤

（1）在本地文件 /home/grid/a.txt 中写入以下 4 行数据：

aaa,US,CA
aaa,US,CB
bbb,CA,BB
bbb,CA,BC

（2）建立非分区表并加载数据

CREATE TABLE t1 (name STRING, cty STRING, st STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';
LOAD DATA LOCAL INPATH '/home/grid/a.txt' INTO TABLE t1;  
SELECT * FROM t1;  
dfs -ls /user/hive/warehouse/test.db/t1;

执行命令及结果如图1 所示。

图1

（3）建立外部分区表并动态加载数据

CREATE EXTERNAL TABLE t2 (name STRING) PARTITIONED BY (country STRING, state STRING);  

set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;
set hive.exec.max.dynamic.partitions.pernode=1000;
INSERT INTO TABLE t2 PARTITION (country, state) SELECT name, cty, st FROM t1;
INSERT INTO TABLE t2 PARTITION (country, state) SELECT name, cty, st FROM t1;

SELECT * FROM t2;  
dfs -ls /user/hive/warehouse/test.db/t2/;

执行命令及结果如图2 所示。

图2

可以看到，向内部分区表中加载了 8 条数据，动态建立了目录。

（4）编辑 a.txt，使其有以下 4 行数据，然后在执行下面的命令。

aaa,US,CD
aaa,US,CE
ccc,CB,BB
ccc,CB,BC

LOAD DATA LOCAL INPATH '/home/grid/a.txt' OVERWRITE INTO TABLE t1;
INSERT OVERWRITE TABLE t2 PARTITION (country, state) SELECT name, cty, st FROM t1;
SELECT * FROM t2;  
dfs -ls /user/hive/warehouse/test.db/t2/; 
dfs -ls /user/hive/warehouse/test.db/t2/country=US;

执行命令及结果如图3 所示。

图3

可以看到，现在表中有 12 条数据，OVERWRITE 并没有覆盖原来的分区，而是追加了 4 条数据，并且动态建立了新的分区目录。

再次执行一次下面的命令：

INSERT OVERWRITE TABLE t2 PARTITION (country, state) SELECT name, cty, st FROM t1;
SELECT * FROM t2;  
dfs -ls /user/hive/warehouse/test.db/t2/; 
dfs -ls /user/hive/warehouse/test.db/t2/country=US;

执行命令及结果如图4 所示。

图4

可以看到，现在表中还是 12 条数据，分区目录也没有变化。

在动态分区插入上，内外部分区表的行为相同，实验从略。

（5）使用 LOAD 做动态分区插入

LOAD DATA LOCAL INPATH '/home/grid/a.txt' INTO TABLE t2 PARTITION (country, state);

执行命令及结果如图5 所示。

图5

可以看到，load 命令不支持动态分区插入。

3. 总结

OVERWRITE 不会删除已有的分区目录，只会追加新的分区，并覆盖已有分区的非分区数据。
不能使用 load 进行动态分区插入。