确定hive的map和reduce的task的数量
Hive的底层查询原理,也是讲sql语句转化为map-reduce进行查询和计算的,所以设置正确的map和reduce的task的数量对查询效率有很重要的影响。1. 设置mapper的task数量 在分布式计算系统中,决定map数量的一个因素就是原始数据,在不加干预的情况下,原始数据有多少个块,就可能有多少个起始的task,因为每个task对应要去读取一个块的...
原创
2020-04-28 11:42:32 ·
1758 阅读 ·
0 评论