最近需要研究hadoop,昨天开始搭建环境。网上有相关的教程,可以参考http://wenku.baidu.com/view/9638bc0d4a7302768e9939ca.html
但是在安装过程中也出现了一些问题,需要注意的。
1.还需要设置
在hdfs.site.xml中设置的属性dfs.name.dir,dfs.data.dir
<property>
<name>dfs.data.dir</name>
<value>/home/hadoop/dfs/data</value>
<final>true</final>
</property>
<property>
<name>dfs.name.dir</name>
<value>/home/hadoop/dfs/name</value>
<final>true</final>
</property>
如果按照教程中的做法,没有设置,会有默认设置
dfs.name.dir:${hadoop.tmp.dir}/dfs/name
dfs.data.dir:${hadoop.tmp.dir}/dfs/data
而tmp目录下的内容会定期删除的,不利于设计应用。
另外,dfs.name.dir,dfs.data.dir目录需要手动创建,否则集群启动时会目录不存在的错误。
2.在使用hadoop namenode -format命令时
首次格式化时,会让选择Y OR NOT 记得使用大写 Y来选择,根据我的经验,用y格式化不成功哦。
3.养成好习惯,用户个人环境变量最好设置在~/.bash_profile中而不要设置在/etc/profile
接下来遇到问题,再跟大家分享