[hive] mr 引擎和spark引擎对reduce task的设置

最新推荐文章于 2024-06-06 10:32:00 发布

原创最新推荐文章于 2024-06-06 10:32:00 发布 · 2.2k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#hive

hive 专栏收录该内容

55 篇文章

订阅专栏

本文详细介绍了Hive和Spark中的关键配置参数，包括如何设置reduce任务的数量、每个reduce任务处理的数据量上限以及每个job最大reduce任务数等。这些参数对于调整MapReduce和Spark作业的性能至关重要。

Configuration Properties - Apache Hive - Apache Software Foundation

1.mr

mapred.reduce.tasks
强制指定reduce个数
默认值：-1
添加于：Hive 0.1.0
通过将此属性设置为 -1，Hive 将自动计算出reduce task的数量。
 
hive.exec.reducers.bytes.per.reducer
每个reduce task处理的最大数据量
Hive 0.14.0 及更高版本中为256,000,000 即256 MB
也就是说，如果输入大小为 1 GB，则将使用 4 个 reducer。
 
hive.exec.reducers.max
每个job最大的reduce task个数
默认值：1009 在 Hive 0.14.0 及更高版本中
每个job 的最大reducer 数量。

2.spark

mapreduce.job.reduces
默认值：-1（禁用）
添加于：Hive 1.1.0 与 HIVE-7567
设置每个 Spark shuffle 阶段的 reduce 任务数。
默认情况下设置为 -1:reduce task的数量是根据 Hive 数据统计动态计算的。将此设置为一个常数值会为所有 Spark shuffle 阶段设置相同数量的分区。