hive动态分区过多异常

最新推荐文章于 2023-06-21 23:50:36 发布
最新推荐文章于 2023-06-21 23:50:36 发布
阅读量2.2k 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： 个人总结
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wflh323/article/details/90671538
在执行Hive的动态插入分区SQL时遇到错误，日志显示无法创建新的block并频繁地放弃和排除datanode。问题根源是datanode的xceiverCount超过了最大限制8192。解决方案是减少分区数量或调整datanode的`dfs.datanode.max.xcievers`配置以增加线程数。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

  hive 执行动态插入分区sql 报如下错误：

2019-05-28 16:04:40,381 WARN [Thread-1018] org.apache.hadoop.hdfs.DFSClient: Abandoning BP-618233350--1497874683119:blk_1607145278_533526274 2019-05-28 16:04:40,382 WARN [Thread-1018] org.apache.hadoop.hdfs.DFSClient: Excluding datanode DatanodeInfoWithStorage[192.168.131.5:1004,DS-6bc116bc-58f1-43df-a4b6-5ef97e486c5b,DISK] 2019-05-28 16:04:40,397 WARN [Thread-1018] org.apache.hadoop.hdfs.DFSClient: Abandoning BP-618233350--1497874683119:blk_1607145379_533526375 2019-05-28 16:04:40,399 WARN [Thread-1018] org.apache.hadoop.hdfs.DFSClient: Excluding datanode DatanodeInfoWithStorage[192.168.131.49:1004,DS-9c965e9b-e86c-4cf2-b0b6-e5a622cc92f2,DISK] 2019-05-28 16:04:40,399 WARN [Thread-1052] org.apache.hadoop.hdfs.DFSClient: Abandoning BP-618233350--1497874683119:blk_1607145375_533526371 2019-05-28 16:04:40,400 WARN [Thread-1018] org.apache.hadoop.hdfs.DFSClient: DataStreamer Exception java.io.IOException: Unable to create new block. at org.apache.h

最低0.47元/天 解锁文章

200万优质内容无限畅学
Hive 动态分区小文件过多问题优化
石榴姐yyds
04-08 222
动态分区易产生海量小文件。假设输入数据1TB，启用2000 Mapper任务且每个任务生成100分区，则总文件数为2000×100=200,000，远超。
hive 动态分区-动态分区数量太多也会导致效率下降&只设置非严格模式也能执行动态分区
千山暮雪CN
08-24 4096
百亿数据动态分区处理
hive动态分区报错
weixin_45738893的博客
03-11 1172
HIVE动态分区，由于动态分区个数过多，map端内存溢出，报错。 containerID=container_e86_1608865192015_2953765_01_000002] is running beyond physical memory limits. Current usage: 3.0 GB of 3 GB physical memory used; 5.1 GB of 6.3 GB virtual memory used. Killing container. Dump of the p
hive产生动态分区太多导致的问题
热门推荐
分布式应用与服务器架构专栏
11-28 1万+
过多的动态分区会导致job出现以下情况： org.apache.hadoop.hive.ql.metadata.HiveException: org.apache.hadoop.ipc.RemoteException: org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException: No lease on /tmp/hive-maint
Hive动态分区太多也会有问题
分布式应用与服务器架构专栏
12-10 4457
最近在测试动态分区时，猜测可能是动态分区的数太多，导致一个SQL始终报错： aused by: org.apache.hadoop.hive.ql.metadata.HiveException: java.io.IOException: Bad connect ack with firstBadLink as 192.168.2.24:50010  at org.apache.hadoop.h
hive 动态分区太多问题
weixin_33965305的博客
10-27 577
2019独角兽企业重金招聘Python工程师标准>>> ...
hive分区数过多报错
鸭梨的博客
08-04 1032
Fatal error occurred when node tried to create too many dynamic partitions. The maximum number of dynamic partitions is controlled by hive.exec.max.dynamic.partitions and hive.exec.max.dynamic.partitions.pernode. Maximum was set to 100 partitions per node,
Hive 动态分区小文件过多问题优化.md
最新发布
04-21
在动态分区操作中，如果产生的分区数量过多，就会引发异常，提示节点尝试创建过多的动态分区。这一现象的成因主要在于内存资源管理、文件系统稳定性以及计算资源均衡三个方面。内存资源管理方面，每个分区需要维护...
解决Hive动态分区小文件过多问题
xiaoleilei666的博客
12-05 5195
一、问题描述 为了支撑相应的业务需求，本次生产环境通过Hive SQL来完成动态插入分区表数据的脚本开发。但是，动态分区的插入往往会伴随产生大量的小文件的发生。而小文件产生过多的影响主要分为以下两种情况： （1） 从Hive的角度看，小文件会开很多map，一个map开一个JVM去执行，所以这些任务的初始化，启动，执行会浪费大量的资源，严重影响性能。 （2）在HDFS中，每个小文件对象约占150byte，如果小文件过多会占用大量内存。这样NameNode内存容量严重制约了集群的扩展。 所以，我们必须要解决上
Hive 动态分区向表插入数据报错 GC overhead limit exceeded （分区过多场景）
weixin_43864336的博客
11-16 1607
hive 报错 动态分区 数据量很小，但是分区比较多的情况可以适用下面参数–启用自动排序参数，强制产生reduce任务。
hive 分区表 分区太多_更多安全分区始终是一个好主意
cxt70571的博客
07-07 1079
hive 分区表 分区太多 当涉及到安全身份管理时，我常常对缺乏粒度感到吃惊。 尽管大多数安全性方法和工具都可以按人员，角色，位置，设备和数据库的各个部分对安全域进行分区，但是大多数人仅使用少数几个域来设置云安全性。 对于那些不涉及安全操作或secop的人，我们可以使用任意数量的维度或域来创建组。 “身份”必须至少属于一个域，但也可以属于所有或大多数域。 [IDG研究： 云的状态：企业采...
[转]hive产生动态分区太多导致的问题 .
dacoolbaby的专栏
07-12 760
转自：http://blog.youkuaiyun.com/chenyi8888/article/details/8236726   做应用开发的也要帮助他们找BUG，真是头疼。遇到如下异常，度娘给出的答案如下：   过多的动态分区会导致job出现以下情况： org.apache.hadoop.hive.ql.metadata.HiveException: org.apache.hadoop.i...
Hive show partitions 显示分区太多怎么办/常用命令
onway_goahead的博客
05-14 4703
-- 显示前 7 个分区 hive -e "set hive.cli.print.header=false;show partitions rca_rpt.rca_daily_report;" | more -10 -- 显示后 9 个分区 hive -e "set hive.cli.print.header=false;show partitions rca_rpt.rca_daily_report;" | tail -10
创建hive动态分区表的报错原因分析
Michael492的博客
06-21 943
【代码】创建hive动态分区表的报错原因分析。
关于hive动态分区太多的问题解决方案
qq_47947471的博客
09-22 3006
今天在hive插入分区表的时候出现以下报错 hive> insert into table ods_PoliceKill_partition partition (city) select id,name,date,manner_of_death,armed,age,gender,race,state,signs_of_mental_illness,threat_level,flee,body_camera,city from ods_PoliceKill; 报错如下: java.lang.
解决Hive创建文件数过多的问题
Mr.pan felix的专栏
07-19 972
一. Hive的创建文件数的限制 Hive对文件创建的总数是有限制的，这个限制取决于参数： hive.exec.max.created.files，默认值是10000。如果现在你的表有60个分区，然后你总共有2000个map，在运行的时候，每一个mapper都会创建60个文件，对应着每一个分区，所以60*2000> 120000，就会报错：exceeds 100000.Killing the job 解决办法： 最简单的解决办法就是调大hive.exec.max.created.files参数
Hive以及Hive分区的那些事
有个程序员的博客
04-08 505
1.Hive 基本概念 Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射成一张表,并提供类似SQL的查询功能 使用HQL作为查询接口 使用HDFS存储 使用MapReduce计算 2. Hive的优缺点 优点: 减少开发人员的学习成本 可以和impala/spark等共享数据 支持UDF,自定义存储格式 非常适合离线数据处理 缺点: Hive实时性差 Hive效率...
hive之异常值处理
听了个听儿
06-05 8047
hive之异常值相关
hive动态分区
03-28
### Hive动态分区的使用方法及常见问题解决方案 #### 动态分区的基础概念 Hive中的动态分区允许在插入数据时自动创建所需的分区，而无需手动指定每个分区的具体名称。这种方式极大地简化了大规模数据处理流程，尤其是在需要频繁更新大量分区的情况下非常有用[^1]。 #### 配置动态分区的关键参数 为了启用并优化动态分区功能，需设置以下几个重要参数： - `set hive.exec.dynamic.partition=true;` 启用动态分区支持。 - `set hive.exec.dynamic.partition.mode=nonstrict;` 设置为非严格模式以便可以仅依赖于动态分区而不必提供静态分区[^3]。 - `set hive.exec.max.dynamic.partitions.pernode=100;` 控制每节点最大可创建的动态分节数量，默认值可能不足以满足实际需求。 - `set hive.exec.max.dynamic.partitions=1000;` 定义整个作业中最多能创建多少个动态分区。 这些参数可以通过SQL语句临时设定，也可以写入Hive配置文件永久生效。 #### 插入数据到动态分区表的例子 假设有一个名为`sales_data`的表，其结构定义如下： ```sql CREATE TABLE sales_data ( sale_id STRING, amount DOUBLE ) PARTITIONED BY (year INT, month INT); ``` 向该表插入带动态分区的数据时，可以按照以下方式操作： ```sql SET hive.exec.dynamic.partition=true; SET hive.exec.dynamic.partition.mode=nonstrict; INSERT INTO TABLE sales_data PARTITION(year, month) SELECT id, value, year, month FROM staging_table; ``` 上述代码会依据`staging_table`中的`year`和`month`列自动生成对应的分区目录，并将数据存储其中。 #### 解决动态分区相关问题 ##### 错误分区无法删除的情况 如果由于某些原因导致生成了错误的分区（如日期格式不对），可以直接通过`ALTER TABLE ... DROP PARTITION`命令移除有问题的分区。例如，在引用[2]提到的一个场景里，当分区键被错误地设成浮点型数值而非整数形式时，可通过下面的方式清理掉异常分区： ```sql ALTER TABLE your_table_name DROP IF EXISTS PARTITION(partition_column='incorrect_value'); ``` ##### 表重命名失败的问题 对于大型分区表来说，简单的重命名可能会因为涉及过多元数据变更而导致超时或失败现象发生。针对这种情况，建议先备份原表再逐步迁移至目标表名下完成转换过程[^4]。 #### 性能调优提示 合理调整内存分配及相关资源限制有助于提升批量加载性能；同时注意监控日志输出以及时发现潜在瓶颈所在位置。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值