超级会员免费看
本文介绍了Hadoop3.x中MapReduce的WordCount案例，重点讲解了MrAppMaster的角色，以及maptask和reduce task在YARN中的表示。通过反编译hadoop-mapreduce-examples-3.1.3.jar，展示了IntSumReducer和TokenizerMapper的源码，解释了Mapper和Reducer类的作用。同时，文章提到了Java序列化在Hadoop中的应用，强调了使用Hadoop Writable类型对应Java原始类型的重要性。
这里的这个MrAppMaster跟我们,之前讲yarn的时候的那个ApplicationMaster的一个意思,
这个是个MrAppMster是个子类对吧.
这个我们可以理解为一个掌控全局的老大对吧.
然后 这里的mr的程序一个个的子任务,我们可以称之为一个任务,一个mr,或者一个job都可以.
这里要注意,这里的maptask和reduce task,以后是查不到这两个名字的,查到的是yarn child这个名字.
然后我们一起去看看WordCount的源码去
订阅专栏 解锁全文
扫一扫
评论 3
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
