Hive-为什么没有启动MapReduce任务

最新推荐文章于 2023-03-10 17:53:21 发布

Andy-Hadoop

最新推荐文章于 2023-03-10 17:53:21 发布

阅读量4.2k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： hive 文章标签： hive hadoop mapreduce

本文链接：https://blog.youkuaiyun.com/zhangxin1988/article/details/72903708

当执行某些简单的Hive查询时，Hive可能会使用Fetch Task代替MapReduce，以提高效率。然而，这可能导致内存不足的问题。本文探讨了参数`hive.fetch.task.conversion`、`hive.fetch.task.aggr`和`hive.fetch.task.conversion.threshold`如何影响这一行为，以及如何通过调整这些参数来避免OutOfMemoryError错误。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Hive-为什么没有启动MapReduce任务

涉及到关键参数：

hive.fetch.task.conversion
hive.fetch.task.aggr
hive.fetch.task.conversion.threshold

问题的背景：
(1)查询sql
select * from dim_beeper.dim_beeper_trans_match_driver_bid where p_day=’2017-06-06’ and source_id = 1594007;
(2)dim_beeper_trans_match_driver_bid是按照p_day来进行的分区表
(3)dim_beeper_trans_match_driver_bid的存储格式为parquet
(4)dim_beeper_trans_match_driver_bid在p_day＝2017-06-06分区下，包含两个文件，每个文件的大小如下：
这里写图片描述