hadoop的安装

最新推荐文章于 2024-09-25 20:23:12 发布

原创最新推荐文章于 2024-09-25 20:23:12 发布 · 167 阅读

0 ·

CC 4.0 BY-SA版权

大数据专栏收录该内容

2 篇文章

订阅专栏

1.下载hadoop 选择cmd版本并解压

下载地址:https://archive.apache.org/dist/hadoop/common/

2.下载Java的sdk并解压

下载地址:https://www.oracle.com/technetwork/java/javase/overview/index.html

3.解压配置环境变量

在~/.bash_profile
#Java的环境变量
export JAVA_HOME=/home/hadoop2/app/jdk1.8.0_191
export PATH=$JAVA_HOME/bin:$PATH

#hadoop的环境变量
export HADOOP_HOME=/home/hadoop2/app/hadoop-2.9.2
export PATH=$HADOOP_HOME/bin:$PATH

环境变量生效:source ~/.bash_profile;
验证是否生效:java -version 
hadoop环境是否生效:hadoop

4.修改hadoop的配置文件

4.1 hadoop-2.9.2/etc/hadoop/core-site.xml 中添加如下内容

<configuration>
<!-- hadoop1.X的端口是9000,2.X以后的是8020-->
 <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop2:8020</value>
  </property><!-- hadoop默认的存储地址是临时文件夹，在linux下临时文件夹每次重启都会被删除，所以需要添加一个临时文件 -->
 <property>
        <name>hadoop2.tmp.dir</name>
        <value>/home/hadoop2/app/tmp</value>
  </property>
</configuration>

4.2 hadoop-2.9.2/etc/hadoop/hdfs-site.xml 中添加如下内容

<configuration>
<!-- 由于是伪分步单节点。因此副本系数设置为1-->
 <property>
      <name>dfs.replication</name>
      <value>1</value>
</property>
</configuration>

5.启动 hadoop

5.1 格式化文件系统（初始化文件）

hadoop-2.9.2/bin/hdfs namenode -format

5.2 启动 hdfs

hadoop-2.9.2/sbin/start-dfs.sh

5.3 验证是否启动成功

执行jps命令出现 NameNode 、DataNode、SecondaryNameNode 三个进程表示成功
若少了进程请查看,在运行hadoop-2.9.2/sbin/start-dfs.sh 命令的时候会出现一大串的信息,请自行查找hadoop-2.9.2/logs/hadoop-xf-secondarynamenode-localhost.out的信息,把后缀的 .out 改为.log 查看错误信息
hadoop-2.9.2/logs/hadoop-xf-secondarynamenode-localhost.log

报错解决

1.ARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable

在/Users/finley/app/hadoop-2.9.2/etc/hadoop/log4j.properties文件中添加
log4j.logger.org.apache.hadoop.util.NativeCodeLoader=ERROR

2.DataNode启动失败

修改hdfs-site.xml下的dfs.datanode.dir的路径
修改存放路径的权限为755
##### 判断是否安装成功
2.访问hadoop2:50070 是否显示出页面(localhost前面配置的,前面配置ip则用ip访问)