MapReduce&Yarn增强
1. MapReduce并行度机制详解
maptask并行度机制 : 逻辑规划 (逻辑切片)
时间 : 客户端提交mr程序之前 main(客户端) , job.submit()
地点 : 客户端
参与者 : 待处理数据目录 FileInputFormat.getSplits()
规则 : 对待处理目录下逐个遍历文件 , 以切片大小对文件进行逻辑规划
split size == bl...
原创
2018-11-25 22:49:55 ·
261 阅读 ·
0 评论