hive任务,一些map长时间无法结束

在Hive整合HBase的过程中遇到map任务长时间执行的问题,排查了YARN状态和资源分配,未找到明显原因。尝试从日志中寻找线索,怀疑与数据分布和分发有关。尽管数据能被查询,但怀疑未完全写入HDFS。最终通过指定列簇解决了部分问题,但原问题的根因仍未明确。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

【此文几天前曾删除过一次,因为并没有真正意义上的的解决如标题所示的问题】

接上一篇文章elasticsearch数据到hive、es-hadoop6.3.0中最后hive的查询任务,某些map长时间执行。

1、查看19888端口历史任务:
这里写图片描述
2、8088

24个map长时间执行,96个完成。

24个未完成的map分别在ip11、12、13节点,分别是9、9、6个map
这里写图片描述
查看这些失败的任务,发现不存在失败map集中在某一datanode节点的情况

yarn?不,集群yarn状态ok。
这里写图片描述

yarn资源的分配?看看log,好吧,我也看不出什么名堂
这里写图片描述
留意到这样的日志,但不知意义(SUCCEEDED的map不会有这样的log,也有可能这只是log的中间状态?)

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值