在Hive整合HBase的过程中遇到map任务长时间执行的问题，排查了YARN状态和资源分配，未找到明显原因。尝试从日志中寻找线索，怀疑与数据分布和分发有关。尽管数据能被查询，但怀疑未完全写入HDFS。最终通过指定列簇解决了部分问题，但原问题的根因仍未明确。
【此文几天前曾删除过一次，因为并没有真正意义上的的解决如标题所示的问题】
接上一篇文章elasticsearch数据到hive、es-hadoop6.3.0中最后hive的查询任务，某些map长时间执行。
1、查看19888端口历史任务：
2、8088
24个map长时间执行，96个完成。
24个未完成的map分别在ip11、12、13节点，分别是9、9、6个map
查看这些失败的任务，发现不存在失败map集中在某一datanode节点的情况
yarn？不，集群yarn状态ok。
yarn资源的分配？看看log，好吧，我也看不出什么名堂
留意到这样的日志，但不知意义（SUCCEEDED的map不会有这样的log，也有可能这只是log的中间状态？）
最低0.47元/天 解锁文章
扫一扫
5934
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
