本文深入探讨MapReduce编程，包括配置API、辅助类的使用，如GenericOptionsParser和ToolRunner。介绍如何进行本地测试和在Hadoop集群上进行调试，以及作业的调优方法，如Map和Reduce数量的确定、内存分配策略。提供了详细的测试和调优步骤，帮助开发者优化MapReduce作业的性能。
本篇内容
在上一篇的“初识”环节，我们已经在本地和Hadoop集群中，成功的运行了几个MapReduce程序，对MapReduce编程，已经有了最初的理解。
在本篇文章中，我们对MapReduce编程进行进一步的了解，包括：配置API、辅助类、调试手段、调优手段。
总体来说，我个人的理解是：
（1）本地开发阶段，对于Eclipse开发MapReduce程序来说，是不需要任何插件的，和开发普通的Java程序是一样的，通过DEBUG和单元测试排错；
（2）Hadoop环境测试阶段，也比较困难或者说比较麻烦进行远程调试，经常做的是打印语句，看日志。
配置API和辅助类
配置API
一个Configuration类的实例，代表配置属性及其取值的一个集合。maven项目的src/main/resources下有配置文件conf.xml，内容如下：
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
