最近要开始学习spark,在搭建spark环境之前,需要先搭建hadoop环境。
我参考了这篇文章点击打开链接,但是原文的手动编译没有用上,因为我的linux系统本来就是64位的,直接官网下载编译好的hadoop即可。
并且在搭建过程中,发现了原文的一些错误。
自己试验改正后,记录如下:
1.hadoop尽量安装在当前用户的目录下,否则最后在启动hadoop时,如果是安装在/usr/local等非家路径下,会出现权限不够,无法创建文件,导致hadoop无法启动成功。
我将hadoop安装在我的/home/june/work/下,然后配置。
2.在配置hadoop.env.sh时,不必添加新内容,但是JAVA_HOME这一行必须修改,必须要换成绝对路径,即你自己安装的java路径。否则在格式化的那一步会出现 “JAVA_HOME is not set”