hive产生动态分区太多导致的问题

最新推荐文章于 2025-05-17 13:09:41 发布
最新推荐文章于 2025-05-17 13:09:41 发布
阅读量1.3w 收藏 4
点赞数 5
CC 4.0 BY-SA版权
分类专栏： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/chenyi8888/article/details/8236726
本文将详细解释在使用Hive处理大数据时，当动态分区数量过多时，可能会遇到的LeaseExpiredException错误，并提供了一个有效的解决方案。通过设置Hive的exec.max.dynamic.partitions参数，可以避免此错误的发生，确保数据处理任务的正常运行。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

过多的动态分区会导致job出现以下情况：

org.apache.hadoop.hive.ql.metadata.HiveException: org.apache.hadoop.ipc.RemoteException: org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException: No lease on /tmp/hive-maintain/hive_2012-11-28_22-39-43_810_1689858262130334284/_task_tmp.-ext-10002/part=33436268/_tmp.000004_0 File does not exist. Holder DFSClient_attempt_201211250925_9859_m_000004_0 does not have any open files.


解决方案：

加大动态分区数即可，下面是在当前session下设置。

SET hive.exec.max.dynamic.partitions=100000;
SET hive.exec.max.dynamic.partitions.pernode=100000;

Hive Distribute by 应用之动态分区小文件过多问题优化
石榴姐yyds
08-25 6799
本文分析了一种由动态分区产生小文件的或是集群中小文件过多的一种解决方案，采用distribute by cast(rand()*N as int)这一方式能很好的解决集群小文件问题，起到了优化作用。对于使用SparkSQL的用户来说，SparkSQL提供了repartition算子来解决这一问题，在这里其实repartition和distribute by的作用一致，在Spark 2.4.0版中提供了Hive中类似的Hint语法...
创建hive动态分区表的报错原因分析
Michael492的博客
06-21 939
【代码】创建hive动态分区表的报错原因分析。
解决Hive动态分区小文件过多问题
xiaoleilei666的博客
12-05 5187
一、问题描述 为了支撑相应的业务需求，本次生产环境通过Hive SQL来完成动态插入分区表数据的脚本开发。但是，动态分区的插入往往会伴随产生大量的小文件的发生。而小文件产生过多的影响主要分为以下两种情况： （1） 从Hive的角度看，小文件会开很多map，一个map开一个JVM去执行，所以这些任务的初始化，启动，执行会浪费大量的资源，严重影响性能。 （2）在HDFS中，每个小文件对象约占150byte，如果小文件过多会占用大量内存。这样NameNode内存容量严重制约了集群的扩展。 所以，我们必须要解决上
关于hive动态分区太多的问题解决方案
qq_47947471的博客
09-22 3006
今天在hive插入分区表的时候出现以下报错 hive> insert into table ods_PoliceKill_partition partition (city) select id,name,date,manner_of_death,armed,age,gender,race,state,signs_of_mental_illness,threat_level,flee,body_camera,city from ods_PoliceKill; 报错如下: java.lang.
【Hive面试必知】Hive动态分区详解：原理、配置与实践指南
最新发布
IT成长日记的博客
05-17 1036
分区（Partition）是一种将表数据按照某个或某几个字段的值进行物理划分的技术。分区字段值会作为目录名称存储在HDFS上，形成类似/user/hive/warehouse/table_name/partition=value/的结构。正确使用动态分区可以大幅提高数据工程效率，但也需要注意合理控制分区数量，避免对系统造成过大压力。根据实际业务需求和数据特征选择合适的分区策略，才能充分发挥Hive动态分区的优势。Hive动态分区是一项强大的功能，能够显著简化分区表的数据加载过程。
hive 动态分区太多问题
weixin_33965305的博客
10-27 576
2019独角兽企业重金招聘Python工程师标准>>> ...
hive动态分区报错
weixin_45738893的博客
03-11 1170
HIVE动态分区，由于动态分区个数过多，map端内存溢出，报错。 containerID=container_e86_1608865192015_2953765_01_000002] is running beyond physical memory limits. Current usage: 3.0 GB of 3 GB physical memory used; 5.1 GB of 6.3 GB virtual memory used. Killing container. Dump of the p
hive分区数过多报错
鸭梨的博客
08-04 1025
Fatal error occurred when node tried to create too many dynamic partitions. The maximum number of dynamic partitions is controlled by hive.exec.max.dynamic.partitions and hive.exec.max.dynamic.partitions.pernode. Maximum was set to 100 partitions per node,
hive动态分区过多异常
wflh323的专栏
05-29 2232
hive 执行动态插入分区sql 报如下错误： 2019-05-28 16:04:40,381 WARN [Thread-1018] org.apache.hadoop.hdfs.DFSClient: Abandoning BP-618233350--1497874683119:blk_1607145278_533526274 2019-05-28 16:04:40,382 WARN [Th...
Hive动态分区太多也会有问题
分布式应用与服务器架构专栏
12-10 4456
最近在测试动态分区时，猜测可能是动态分区的数太多，导致一个SQL始终报错： aused by: org.apache.hadoop.hive.ql.metadata.HiveException: java.io.IOException: Bad connect ack with firstBadLink as 192.168.2.24:50010  at org.apache.hadoop.h
hive 动态分区-动态分区数量太多也会导致效率下降&只设置非严格模式也能执行动态分区
千山暮雪CN
08-24 4091
百亿数据动态分区处理
hive 分区表 分区太多_更多安全分区始终是一个好主意
cxt70571的博客
07-07 1079
hive 分区表 分区太多 当涉及到安全身份管理时，我常常对缺乏粒度感到吃惊。 尽管大多数安全性方法和工具都可以按人员，角色，位置，设备和数据库的各个部分对安全域进行分区，但是大多数人仅使用少数几个域来设置云安全性。 对于那些不涉及安全操作或secop的人，我们可以使用任意数量的维度或域来创建组。 “身份”必须至少属于一个域，但也可以属于所有或大多数域。 [IDG研究： 云的状态：企业采...
hive 动态分区 分区数太多出错
放飞我心
10-30 3664
insert overwrite table lobehaviour_trade_daily partition (part)  select dp_id, buyer_nick, to_date(created), payment, 0 as item, if(to_date(modified) from taobao.s_trade_hbase  where (part distrib
hive操作表分区HiveException：Unable to alter partition
hzp666的博客
02-22 1139
异常信息： 2021-10-16 03:36:22 INFO Error in query: org.apache.hadoop.hive.ql.metadata.HiveException: Unable to alter partition. JD:用户[mart_cmo_ge_bi]没有表[app.app_fin_small_b_sku_det(mart:mart_cmo,owner:mart_cmo)](敏感表[false])的[ALTER_PARTITION]权限; 解决方案： 添加
Hive分区过多有何坏处以及分区时的注意事项
weixin_34399060的博客
04-21 7211
为什么80%的码农都做不了架构师？>>> ...
Hive 动态分区小文件过多问题优化
h494411的博客
04-14 1281
一、问题描述为了支撑相应的业务需求，本次生产环境通过Hive SQL来完成动态插入分区表数据的脚本开发。但是，动态分区的插入往往会伴随产生大量的小文件的发生。而小文件产生过多的影响主要分为以下两种情况：（1） 从Hive的角度看，小文件会开很多map，一个map开一个JVM去执行，所以这些任务的初始化，启动，执行会浪费大量的资源，严重影响性能。（2）在HDFS中，每个小文件对象约占150byte，如果小文件过多会占用大量内存。这样NameNode内存容量严重制约了集群的扩展。
HIVE 动态分区的一个坑
热门推荐
anti
04-11 1万+
HIVE 动态分区的一个坑 在hive sql中使用动态分区非常方便，也比较常用，但是在使用的过程中会带来一些问题，比如：在一段sql语句中我需要指定两个字段当做动态分区，一个字段的基数为7，另一个为4，这就是28个分区，我们的sql语句的最后一个job是一个仅有map阶段的任务，数据量大有4000个map，这种情况下map任务在往hive分区中写的时候，每个map几乎都要产生28个文件，这样就...
hive动态分区shell_大数据：hive执行动态分区操作，报错
weixin_39543835的博客
12-19 734
2014-06-20 17:30:10,044 ERROR parse.SemanticAnalyzer(SemanticAnalyzer.java:getMetaData(1323)) -org.apache.hadoop.hive.ql.parse.SemanticException: Dynamicpartition strict mode requires at least one sta...
Hive文件数创建过多的问题
happy19870612's blog
11-20 4266
一 Hive的创建文件数的限制 Hive对文件创建的总数是有限制的，这个限制取决于参数： hive.exec.max.created.files，默认值是10000。如果现在你的表有60个分区，然后你总共有2000个map，在运行的时候，每一个mapper都会创建60个文件，对应着每一个分区，所以60*2000> 120000，就会报错：exceeds 100000.Killing the j
Hive动态分区表导入数据时报错
ChengYanan的博客
10-09 1018
主要报错信息如下： Fatal error occurred when node tried to create too many dynamic partitions. The maximum number of dynamic partitions is controlled by hive.exec.max.dynamic.partitions and hive.exec.max.dynam...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值