
Hadoop
文章平均质量分 79
Warren_Hoo
个人博客已迁往http://coredumper.cn/
展开
-
在本地文件系统上测试MapReduce程序
在开发MapReduce程序的过程中,可以首先在本地文件系统上对程序进行测试,而不是一开始就在HDFS上,这样调试起来更加方便。 以《Hadoop权威指南》上的MaxTemperature程序为例,整个项目中包括如下3个源文件,依次为Mapper程序、Reducer程序和job启动程序: MaxTemperatureMapper.java,MaxTemperatureReducer原创 2015-01-19 16:03:06 · 3621 阅读 · 0 评论 -
MRUnit的安装和使用
MRUnit是对MapReduce程序进行单元测试的工具,可以对Mapper和Reducer程序分别进行测试。但是它没有集成在Hadoop安装环境中,如果想在开发MapReduce程序时使用这个工具,就需要自己安装。 MRUnit的安装 安装环境: Eclipse版本为3.6.0 Hadoop版本为1.0.4 安装步骤: (1)下载MRUnit,网址为http://原创 2015-01-19 10:57:51 · 3445 阅读 · 0 评论