A_A_Forever的博客

mr中shuff过程分析 一、job提交过程 申请提交job的前期准备工作： 1）客户端向resourcemanager提交job请求 2）rm 向客户端返回一个 job_id 以及 共享资源路径（在hdfs下的 tmp） 3）客户端将共享数据 放在 共享资源路径下（job.jar，job.spplit、job.xml）） 4) 客户端向rm返回资源放置成功的响应， 真正的提交应用程序 m...

转载地址:[(https://www.cnblogs.com/arachis/p/Spark_Shuffle.html)] 摘要： 1 shuffle原理 1.1 mapreduce的shuffle原理 1.1.1 map task端操作 1.1.2 reduce task端操作 1.2 spark现在的SortShuffleManager **2 Shuffle操作问题解决** 2.1 数据倾...