mybulesky的专栏

centos上装eclipse：http://blog.sina.com.cn/s/blog_6f561cc301015em9.htmleclipse下配置hadoop环境：http://www.cnblogs.com/flyoung2008/archive/2011/12/09/2281400.html

第一套：为旧的API，此时Maper和Reducer为接口，且该接口均在org.apache.hadoop.mapred.*;中 Mapper：import org.apache.hadoop.mapred.MapReduceBase;import org.apache.hadoop.mapred.Mapper;public class ExampleMapper extend

输入前的过程是这样的：1. JobClient调用getSplits方法以期望的map任务数numSplits作为参数传入，这个参数将作为一个参考值，因为InpFutormat实现可以自由地返回另一个不同于numSplits制定值得分片数。        2.在计算好分片数后，客户端将他们发送到jobtracker，jobtracker便使用其存储位置信息来调度map任务（具体该距离最近的

今天遇到了一个棘手的问题，发现我的hadoop集群环境不能运行，究其原因我发现是我的namenode不能启动，后来我费劲了千方百计来解决这个问题，都无济于事，最后我发现了原来namenode的启动信息被写在了第一行后面的那个日志文件中，然后我就果断打开文件，发现这里果然出了错误，是因为VERSION文件权限问题，我查了一下是root:root的，我果断盖成了hyhado

NameNode启动过程详细剖析NameNode中几个关键的数据结构FSImageNamenode会将HDFS的文件和目录元数据存储在一个叫fsimage的二进制文件中，每次保存fsimage之后到下次保存之间的所有hdfs操作，将会记录在editlog文件中，当editlog达到一定的大小（bytes，由fs.checkpoint.size参数定义）或从上次保存过后一定时间段过后（s