java43135的专栏

hadoop学习笔记之一：初识hadoop引言最近了解到淘宝使用hadoop的项目多了起来，hadoop对于许多测试人员来说或许是个新鲜玩儿，因此，把自己之前整理的学习笔记整理发上来，希望通过此系列文章快速了解Hadoop的基本概念和架构原理，从而助于hadoop相关项目的测试理解和沟通。Hadoop简介Hadoop 是一个实现了 MapRe

Hadoop学习笔记之三：用MRUnit做单元测试引言借年底盛宴品鉴之风,继续抒我Hadoop之情，本篇文章介绍如何对Hadoop的MapReduce进行单元测试。MapReduce的开发周期差不多是这样：编写mapper和reducer、编译、打包、提交作业和结果检索等，这个过程比较繁琐，一旦提交到分布式环境出了问题要定位调试，重复这样的过程实在无趣，因此先对MapReduc

Hadoop学习笔记之五：使用Eclipse插件引言在开发调试过程中，需要将程序打包，运行任务后通过命令或web界面查看运行输出及job运行情况，这个比较繁琐，下面介绍的eclipse插件可以简化这个过程，方便调试。插件安装Hadoop的eclipse plugin跟hadoop发行版一起分发，到hadoop安装目录\ contrib\ecl

学习hadoop已有较长一段时间：     可能基础的薄弱性，进度有点慢。今晨在搜素资料看到淘测试一些文章，觉得很好，速转载： （1）自己学习； （2）与人分享； （3）文章相对基础，是个很好的引路； （4）作者于2010年所写，版本和当前不一样，有问题可参照其他；     这是淘测试链接：www.taobeotest.com   谢谢原作者及阿里系。

hadoop学习笔记之二：MapReduce基本编程引言在本系列的上篇文章中介绍了Hadoop的基本概念和架构，本文将通过一个实例演示MapReduce基本编程。在继续进行前希望能重温下前面的内容，至少理解这张图是怎么回事。实践创建maven工程并加入hadoop依赖我们选用maven来管理工程，用自己喜爱的m2eclipse

Hadoop学习笔记之四:运行MapReduce作业做集成测试引言通过本系列的前篇文章用MRUnit做单元测试介绍可以很容易对MapReduce进行单元测试，这很必要，可以较早的发现一些代码逻辑的问题。只有单元测试是不够的，我们需要对MapReduce任务进行集成测试，要进行集成测试，得先懂得如何将MapReduce 作业在hadoop集群中运行起来。