a1223031949的专栏

hadoop shuffle过程 http://blog.youkuaiyun.com/xiaoqixiaodong/article/details/38730399 Shuffle描述着数据从map task输出到reduce task输入的这段过程。    个人理解： map执行的结果会保存为本地的一个文件中： 只要map执行 完成，内存中的map数据就一

转载http://www.cnblogs.com/beanmoon/archive/2012/12/17/2821548.html 读文件  　　读文件时内部工作机制参看下图： 　　客户端通过调用FileSystem对象（对应于HDFS文件系统，调用DistributedFileSystem对象）的open()方法来打开文件（也即图中的第一步），Distr