
参数
lvmargrete
这个作者很懒,什么都没留下…
展开
-
Hive 参数
自:http://sishuok.com/forum/blogPost/list/0/6225.html转载 hive.exec.max.created.files •说明:所有hive运行的map与reduce任务可以产生的文件的和 •默认值:100000 hive.exec.dynamic.partition •说明:是否为自动分区 •默认值:转载 2015-11-06 15:42:52 · 292 阅读 · 0 评论 -
map和reduce 个数的设定 (Hive优化)经典
转载自:http://blog.sina.com.cn/s/blog_9f48885501017dua.html 谷腾龙的博客 一、 控制hive任务中的map数: 1. 通常情况下,作业会通过input的目录产生一个或者多个map任务。 主要的决定因素有: input的文件总个数,input的文件大小,集群设置的文件块大小(目前为128M, 可在hive中通过set转载 2016-01-07 10:44:39 · 452 阅读 · 0 评论