博主的专栏

之前安装配置hadoop的时候，第一次初始化运行hadoop一切进展顺利， 后来由于配置信息上面修改了一部分，再次进行格式化，这就出毛病了； 查看启动时候调用的log文件发现，namenode与datanode启动都需要id 当再次格式化时候，datanode的id还是这次格式化之前的那个id没有改变， 而这个id信息是保存在hdfs-site.xml文件时候指定的dfs.data.dir

1. HDFS对大量小文件的缺点 通常，HDFS (hdfs://node14:9000/user/hadoop/inputDir) 的文件以block方式存放，block的metadata被放在NameNode的内存中. 这样，a large number of samll files can eat up a lot of memory on the NameNode 2.Hadoop A

hadoop的分块有两部分，其中第一部分更为人熟知一点。   第一部分就是数据的划分（即把File划分成Block），这个是物理上真真实实的进行了划分，数据文件上传到HDFS里的时候，需要划分成一块一块，每块的大小由hadoop-default.xml里配置选项进行划分。     dfs.block.size   67108864   The default block size

在hadoop版本1.0.1中并没有附带hadoop的eclipse插件，因此需要我们自己编译打出一个hadoop-eclipse-plugin-1.0.1.jar插件 在hadoop-1.0.1\src\contrib下有个eclipse-plugin的文件夹存放了插件的源代码，打包时需要使用ant，请预先安装ant，由于仅仅是打包eclipse-plugin，而buidl.xml中需

JOBTRACKER给的MAP任务节点的地址只是主机名而不是实际IP地址 时间紧，先记录这一句，回头再补充

此博文不是为了阐述如何在eclipse环境下导入hadoop进行开发，而是eclipse如何运行hadoop 此前将hadoop jar导入到eclipse下，以为完成了开发环境搭建，而实际上这样完全是一个误导，按照网上很多教程导入hadoop环境到eclipse下， 创建MapReduce project ，WorldCount程序测试。。。貌似正常，实为假象。 运行出来的结果根本不是在自