MapReduce使用TableMapper读取HBase表自定义设置mapper任务数的方法
最近在使用MapReduce读取HBase表时遇到一个问题,mapper读取时总是只有一个mapper任务,在尝试网
上一些解决方法仍然不见成效,后面抽空看了源码和MapReduce原理,终于明白问题的原因,特别记录下来。
1.mapTask并行度的决定机制
一个job的map阶段并行度由客户端在提交job时决定,而客户端对map阶段并行度的规划的基本逻辑为:
将待处理数据执行逻辑切片,划分成...
原创
2019-07-19 10:10:20 ·
1624 阅读 ·
4 评论