HIVE Map和Reduce数量优化点

阿武z

于 2020-03-18 18:12:26 发布

阅读量586

点赞数

分类专栏： Hive

本文链接：https://blog.youkuaiyun.com/xw514124202/article/details/104949020

版权

本文介绍了Hive中Map和Reduce数量的计算方法及其优化点。Map数量由splitSize决定，根据文件大小和Hdfs Block Size计算，而Reduce数量则受mapred.reduce.tasks、hive.exec.reducers.bytes.per.reducer等参数影响。文中提供了相关优化参考文章。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、Map的数量是怎么计算

代码位置：org.apache.hadoop.hive.ql.io.(HiveInputFormat | CombineHiveInputFormat)
函数：getSplits
Hive的HiveInputFormat类是对 MR的InputFormat接口的封装
下面介绍MR的Map数量获取

1、计算 splitSize

// org.apache.hadoop.mapred.FileInputFormat getSplits函数

// totalSize 是Map端输入的数据量, numSplits 是mapred.map.tasks参数值
long goalSize = totalSize / (numSplits == 0 ? 1 : numSplits);