
HADOOP
小白也不想白
这个作者很懒,什么都没留下…
展开
-
Hadoop二次排序及MapReduce处理流程实例详解
一、概述 MapReduce框架对处理结果的输出会根据key值进行默认的排序,这个默认排序可以满足一部分需求,但是也是十分有限的,在我们实际的需求当中,往往有要对reduce输出结果进行二次排序的需求。对于二次排序的实现,网络上已经有很多人分享过了,但是对二次排序的实现原理及整个MapReduce框架的处理流程的分析还是有非常大的出入...转载 2019-01-22 14:42:00 · 279 阅读 · 0 评论 -
TableMapReduceUtil
使用TableMapReduceUtil犯了个错误,求大家指教: 背景: 使用TableMapReduceUtil统计hbase表的数据条数; 使用TableMapReduceUtil情况下,会由于表有多少个region就会启动多少个map,然后每个map的对应一个scan,每个scan对象会连接一次zk,这样就会导致对于region比较多的hbase表,zk被大量连接导致zk查询失败。 如...原创 2019-03-19 17:20:20 · 852 阅读 · 0 评论