超级会员免费看
本文深入探讨了Hadoop3.x MapReduce的切片过程，重点在于InputFormat类中的getSplits方法。切片在处理多个文件时按文件逐一进行，切片大小可通过调整minSize和maxSize控制。切片规划文件随后被传递给YARN的MRAppMaster以确定MapTask数量。值得注意的是，MapTask数量与切片数一致，且切片为逻辑概念，不涉及实际文件切割。
可以看到我们分析完,切片的源码,然后总结一下hadoop3.x的MapReduce的切片
过程
首先要知道切片这个过程是在InputFormat这个类中进行的
我们在InputFormat上按下ctrl+H 就可以看到这个InputFormat的子类都有哪些
我们找到这个FileInputFormat这个类,然后在上面,进行ctrl+f12可以看到这个
类的所有的方法
订阅专栏 解锁全文
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
