C_FuL的博客

1.创建项目作者使用的开发工具是idea，也可以使用eclipse、myeclipse或其它工具，创建一个maven项目1.pom.xml 配置如下<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org

Shuffle过程是MapReduce的核心。Shuffle的意思是洗牌或者打乱，会使用Java的同学应该见过Java API里面的Collections.shuffle(list)方法，它会随机地打乱参数list里面的元素顺序。 如果读者不知道MapReduce里面的Shuffle是什么，请看下图 Shuffle差不多就是从MapTask输出到ReduceTask输入的这一过程。 在真实