Linux搭建hadoop环境
1.查看Linux系统上是否装有Java环境
java -version 查看版本信息以及 echo $JAVA_HOME 命令查看Java的路径
2.下载hadoop安装包
1)图一:点击download
2)图二:选择对应版本点击binary(切记!!!下载binary而不是source!!!)
3)图三:点击链接进行下载
3.将下载的包上传到Linux系统,解压到指定的目录
tar -zxvf aaa.tar.gz -C /tmp/
4.修改配置文件
注意
配置文件所在位置:/root/hadoop-2.10.1/etc/hadoop(具体位置根据你解压的位置去找,我的是在根目录下直接解压的)
1)hadoop-env.sh配置
找到export JAVA_HOME,将自己的jdk路径粘贴进去
2)core-site.xml配置
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/root/hadoop-2.10.1/tmp</value>
<description>路径根据自己的实际位置去修改</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://0.0.0.0:9000</value>
</property>
<property>
<name>hadoop.logfile.size</name>
<value>10000000</value>
<description>每个日志文件的最大值,单位:bytes </description>
</property>
<property>
<name>hadoop.logfile.count</name>
<value>10</value>
<description>日志文件的最大数量</description>
</property>
</configuration>
3)hdfs-site.xml配置
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/root/hadoop-2.10.1/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/root/hadoop-2.10.1/tmp/dfs/data</value>
</property>
</configuration>
4)profile配置(路径:/etc)
HADOOP_HOME=/root/hadoop-2.10.1
PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
修改完profile文件后,使用hadoop version命令出现该截图,则配置成功
4.格式化HDFS以及启动HADOOP
格式化hdfs:
hdfs namenode -format
启动HADOOP:// 这里可能需要输入三次linux系统密码
./sbin/start.all.sh
5.查看
jps命令查看是否启动成功,成功截图如下,这三个缺一不可
如果使用jps命令,出现上面的截图,那么已经成功搭建了hadoop环境