Hadoop3.1.4 的安装与配置

最新推荐文章于 2024-04-02 09:40:27 发布

原创最新推荐文章于 2024-04-02 09:40:27 发布 · 3.2k 阅读

8 ·

CC 4.0 BY-SA版权

文章标签：

#ssh #服务器 #linux

本文详细介绍了如何在Linux环境下进行Hadoop 3.1.4的安装与配置，包括设置SSH免密码登录、下载安装Hadoop、配置环境变量、修改相关配置文件、格式化HDFS以及启动NameNode和DataNode。通过这些步骤，成功完成了Hadoop集群的基础搭建。

一、设置SSH免密码登录

（1）系统偏好设置–>共享 中打开远程登录：

在这里插入图片描述

（2）终端中输入ssh-keygen -t rsa，生成rsa公钥，一路回车

在这里插入图片描述

（3）终端中输入cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys ，将公钥的内容写入到authorized_keys文件中。

（4）终端中输入ssh localhost，此时会有如下提示(SSH首次登录提示)，输入yes。

在这里插入图片描述

再次使用ssh localhost，无需输入密码就可以直接登录了。
在这里插入图片描述

可能出现的错误提示：
在这里插入图片描述
若出现上述情况，查看在 Mac 上将 zsh 用作默认 Shell，按步骤操作解决。

二、Hadoop的安装与配置

下载Hadoop3.1.4

官网https://archive.apache.org/dist/hadoop/common/hadoop-3.1.4/

放在/usr/local/hadoop目录下

在这里插入图片描述

配置Hadoop环境

此处配置路径同之前jdk的配置路径一致：/etc/profile

终端中输入 sudo vim /etc/profile，添加以下内容：

export HADOOP_HOME=/usr/local/hadoop/hadoop-3.1.4
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_COMMON_LIB_NATIVE_DIR"
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

在这里插入图片描述

保存退出后使用source /etc/profile 使环境变量生效。

修改配置文件

1）配置Hadoop-env.sh

终端中输入 vim /usr/local/hadoop/hadoop-3.1.4/etc/hadoop/hadoop-env.sh

在这里插入图片描述

2）配置core-site.xml（指定了namenode的主机名与端口）

终端中输入 vim /usr/local/hadoop/hadoop-3.1.4/etc/hadoop/core-site.xml
在这里插入图片描述

在这里插入图片描述

<property>
    <name>hadoop.tmp.dir</name>
    <value>file:/usr/local/hadoop/tmp</value>
    <description>Abase for other temporary directories.</description>
</property>
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
</property>

3）配置hdfs-site.xml

终端中输入 vim /usr/local/hadoop/hadoop-3.1.4/etc/hadoop/hdfs-site.xml
在这里插入图片描述

<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>
<property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>

4）配置mapped-site.xml

终端中输入 vim /usr/local/hadoop/hadoop-3.1.4/etc/hadoop/mapred-site.xml
在这里插入图片描述

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

5）配置yarn-site.xml

终端中输入vim /usr/local/hadoop/hadoop-3.1.4/etc/hadoop/yarn-site.xml
在这里插入图片描述

<property>
    <name>yarn.nodemanager.aux-servives</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.nodemanager.env-whitelist</name>
	<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>

格式化HDFS

配置完成后，执行NameNode格式化。

终端中输入hdfs name-node -format

成功的话，会看到 “successfully formatted” 和 “Exitting with status 0” 的提示，若为 “Exitting with status 1” 则是出错。

(此处没有显示以上两种情况，但后续也证实初始化成功，暂时不知道什么原因)
在这里插入图片描述

若出现如下错误，是因为权限不够。
在这里插入图片描述

解决办法：

Sudo chmod -R a+w /usr/local/hadoop/

6. 开启NameNode和DataNode守护进程

终端中输入:

cd /usr/local/hadoop/hadoop-3.1.4

./sbin/start-all.sh

启动后使用jps判断是否启动成功。

在这里插入图片描述

成功启动后，可以通过访问Web界面http://localhost:9870/查看NameNode和DataNode信息，还可以在线查看HDFS中的文件。

至此，Hadoop 3.1.4 的安装和配置完成。