最近需要研究hadoop,昨天开始搭建环境。网上有相关的教程,可以参考http://wenku.baidu.com/view/9638bc0d4a7302768e9939ca.html
但是在安装过程中也出现了一些问题,需要注意的。
1.还需要设置
在hdfs.site.xml中设置的属性dfs.name.dir,dfs.data.dir
<property>
<name>dfs.data.dir</name>
<value>/home/hadoop/dfs/data</value>
<final>true</final>
</property>
<property>
<name>dfs.name.dir</name>
<value>/home/hadoop/dfs/name</value>
<final>true</final>
</property>
如果按照教程中的做法,没有设置,会有默认设置
dfs.name.dir:${hadoop.tmp.dir}/dfs/name
dfs.data.dir:${hadoop.tmp.dir}/dfs/data
而tmp目录下的内容会定期删除的,不利于设计应用。
另外,dfs.name.dir,dfs.data.dir目录需要手动创建,否则集群启动时会目录不存在的错误。
2.在使用hadoop namenode -format命令时
首次格式化时,会让选择Y OR NOT 记得使用大写 Y来选择,根据我的经验,用y格式化不成功哦。
3.养成好习惯,用户个人环境变量最好设置在~/.bash_profile中而不要设置在/etc/profile
接下来遇到问题,再跟大家分享
本文分享了Hadoop安装过程中的注意事项,包括配置hdfs-site.xml文件中的dfs.name.dir和dfs.data.dir参数,避免使用默认路径可能导致的问题,以及如何正确执行hadoop namenode -format命令。
900

被折叠的 条评论
为什么被折叠?



