雲的博客

1.概述 　　前面我们已经对Hadoop有了一个初步认识，接下来我们开始学习Hadoop的一些核心的功能，其中包含mapreduce，fs，hdfs，ipc，io，yarn，今天为大家分享的是mapreduce部分，其内容目录如下所示： MapReduce V1 MapReduce V2 MR V1和MR V2的区别 MR V2的重构思路 　　本篇文章的源码是基于h

说明： 下面的图来自南京大学计算机系黄宜华老师开设的mapreduce课程的课件，这里稍作整理和 总结。 本文旨在对接触了mapreduce之后，但是对mapreduce的工作流程仍不是很清楚的人员，当然包括博主自己，希望与大家一起学习。 一、mapreduce的原理 MapReduce借鉴了函数式程序设计语言Lisp中的思想， Lisp(List processing) 是一

MRUNIT hadoop MapReduce逐步调试工具！ MRUnit简介 MRUnit是一款由Couldera公司开发的专门针对Hadoop中编写MapReduce单元测试的框架。可以用MapDriver单独测试 Map，用ReduceDriver单独测试Reduce，用MapReduceDriver测试MapReduce作业。 实战 我们将利用MRUnit对本系列上篇文章MapR

【博文推荐】Hadoop中MapReduce多种join实现实例分析 本文主要对MapReduce框架对表之间的join操作的几种实现方式进行详细分析，并且根据我在实际开发过程中遇到的实际例子来进行进一步的说明。 AD：51CTO移动APP安全沙龙！马上要爆满，手慢没座位！ 本博文出自51CTO博客 zengzhaozheng博

MapReduce的模式、算法和用例 转自：http://blog.jobbole.com/33967/ 英文原文：MapReduce Patterns, Algorithms, and Use Cases，编译：juliashine 在这篇文章里总结了几种网上或者论文中常见的MapReduce模式和算法，并系统化的解释了这些技术的不同之处。所有描述性的文字和代码都使用了