
hive
腾讯首席架构师-赵铁柱
这个作者很懒,什么都没留下…
展开
-
Shell指定时间相减和当前日期相减
Shell指定日期相减和当前日期相减原创 2022-06-18 11:38:46 · 1133 阅读 · 1 评论 -
hive中控制map和reduce数量的简单实现方法
hive中控制map和reduce数量的简单实现方法转载:http://www.edianedi.com/index.php/archives/65/做个记录先说结论: 由于mapreduce中没有办法直接控制map数量,所以只能曲线救国,通过设置每个map中处理的数据量进行设置;reduce是可以直接设置的。控制map和reduce的参数set mapred.max.split.size=256000000; -- 决定每个map处理的最大的文件大小,单位为Bse转载 2020-12-22 18:36:32 · 425 阅读 · 0 评论