【解决】hive动态增加partitions不能超过100的问题

最新推荐文章于 2024-10-02 12:15:57 发布

原创

最新推荐文章于 2024-10-02 12:15:57 发布 · 3.2k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#hive

Author： kwu

【解决】hive动态增加partitions不能超过100的问题，全量动态生成partitions超过100会出现如下异常：

The maximum number of dynamic partitions is controlled by hive.exec.max.dynamic.partitions and hive.exec.max.dynamic.partitions.pernode. Maximum was set to: 100

解决100限制，可设置如下参数：

set hive.exec.dynamic.partition.mode=nonstrict;
SET hive.exec.max.dynamic.partitions=100000; 
SET hive.exec.max.dynamic.partitions.pernode=100000; 
insert overwrite table ods.cms_entity PARTITION (DAY)
select 
ENTITY_ID &nbs