- 博客(1)
- 收藏
- 关注
原创 Yarn及MapReduce工作流程(总结版)
hadoop的工作流程 (未写出在hdfs上传和下载数据的流程,此流程请详见nn和2nn的爱恨情仇以及nn和dn的老大和小弟的故事) 1.MR程序提交到客户端所在的节点,客户端向RM发出申请Application的请求 2.RM同意,并返回提交资源的路径stag和application_id。 3客户端向集群的hdfs提交job运行所需要的资源,提交之后会生成向集群提交数据的stag路径、生成job_id、FileInputFormat调用getSplites()获取切片规划,并序列化成二进制
2020-07-26 20:58:36
656
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人