hive优化之------控制hive任务中的map数和reduce数
一、 控制hive任务中的map数:
1. 通常情况下，作业会通过input的目录产生一个或者多个map任务。
主要的决定因素有： input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到，该参数不能自定义修改)；
2. 举例：
a) 假设input目录下有
转载
2014-05-30 12:08:15 ·
1051 阅读 ·
0 评论
关注
分享
扫一扫