学习、思考、总结

Maven编译hadoop-2.6.4源码编译Hadoop源码的所需环境和工具在文件目录下的BUILDING.txt（基本上编译的相关事项都能在这里面找到）里面有：[ERROR] Failed to execute goal org.apache.maven.plugins:maven-javadoc-plugin:2.8.1:jar (module-javadocs) on project hadoop-nfs: MavenReportException: Error while creating a

运行环境：ubuntu自己生成了个jar包，用hadoop jar xxx.jar ./input ./output，运行成功，可以输出结果，但是最后提示Redirecting to job history server...Client: Retrying connect to server:具体如下：16/06/22 21:51:23 INFO mapred.ClientServi

最开始搭建hadoop集群时，我是用hosts的ip映射实现的各个主机名与IP之间的映射关系。但是，hosts的ip映射的缺点是，当我们在集群里面增加一个机器时，所有机器都要更新他们的hosts文件，这样就显得很繁琐。通过查找资料，可以使用bind9配置DNS来替代原先的hosts的IP映射，当需要添加新主机时，只需要更改DNS主机中bind的正向解析文件和反向解析文件即可。大大减轻了操作

总结一下在Hadoop集群动态添加datanode节点相关步骤。1.     在新节点安装好hadoop，并把namenode的有关配置文件复制到该节点2.     修改namenode节点的masters和slaves文件，增加该节点3.     设置各节点ssh免密码进出该节点，设置IP映射4.     单独启动该节点上的Datanode和Nodemanager