Hive-分区详解

最新推荐文章于 2023-11-15 16:49:41 发布

原创

最新推荐文章于 2023-11-15 16:49:41 发布 · 498 阅读

1 ·

CC 4.0 BY-SA版权

本文详细介绍了Hive中的分区类型，包括静态分区、动态分区和混合分区。重点讲解了动态分区的概念，通过实例展示了如何从A表动态插入数据到按year, month, day分区的B表中，并探讨了动态分区的属性设置。同时，文章还讨论了在遇到错误时如何调整Hive的严格模式来解决加载动态分区时的问题。" 102632164,8399892,Spring Boot + MySQL 网页查询实现及服务器部署指南,"['spring boot', '数据库开发', '前后端分离', '网页查询', '服务器部署']

分区的类型：

静态分区、动态分区、混合分区
静态分区：新增分区或者是加载分区数据时指定分区名
动态分区：新增分区或者是加载分区数据时,分区名未知。
混合分区：静态分区和动态分区同时存在。

思路：

动态分区的举例：
A表数据
uid uname year month day
1 zhangsan 2019 4 19
2 lissi 2019 4 18

B表是分区表，按照year month day进行分区

从A表中查询数据插入到B表

动态分区的属性：

动态分区的相关属性：
set hive.exec.dynamic.partition=true; ##允许动态分区
set hive.exec.dynamic.partition.mode=strict ##分区模式的设定nostrict：strict(非严格模式：严格模式)
严格模式：至少需要一个静态分区
非严格模式：可以全是动态分区
set  hive.exec.max.dynamic.partitions ##允许动态分区的最大数量
set hive.exec.max.dynamic.partitions.pernode ##每个节点上允许的最大的动态分区的数量（也就是reducetask的数量）

创建临时表

create table if not exists tmp(
uid int,
commentid bigint,
recommentid bigint,
year int,
month int,
day int
)
row format delimited
fields terminated by '\t'
;

加载数据：

load data local inpath '/tmp.txt' overwrite into table tmp;<

最低0.47元/天解锁文章