hive进行mapreduce卡壳解决方法

最新推荐文章于 2022-06-05 20:30:10 发布

原创最新推荐文章于 2022-06-05 20:30:10 发布 · 3.5k 阅读

3 ·

CC 4.0 BY-SA版权

大数据专栏收录该内容

2 篇文章

订阅专栏

本文将详细阐述在使用Hive处理大数据集时，遇到执行卡顿问题的原因及解决方法。通过在执行的Hive语句前添加特定的参数值设定语句，如`setmapreduce.job.reduces=512;`等，能够有效避免卡顿现象，确保数据处理流程流畅进行。本文不仅提供了具体的参数设置示例，还解释了这些参数如何优化MapReduce任务分配，提升整体执行效率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在google搜索得出的解决方案是在执行的hive语句前添加以下几条参数值设定语句：

set mapreduce.job.reduces=512;
set hive.groupby.skewindata=true;
set hive.optimize.skewjoin=true;
set hive.skewjoin.key=5000;
set hive.groupby.mapaggr.checkinterval=5000;