mac单节点 Hadoop 安装和伪分布式模式配置(图文教程)

sugar_cookie

已于 2022-08-16 16:21:51 修改

阅读量1.3k

点赞数 3

分类专栏：大数据文章标签： hadoop 分布式

于 2022-08-06 00:39:32 首次发布

本文链接：https://blog.youkuaiyun.com/sugar_cookie/article/details/126160760

版权

大数据专栏收录该内容

2 篇文章

订阅专栏

最近接触大数据项目，需要搭建环境，下面是我安装Hadoop步骤，大家可以参考，话不多说学习新东西首先看官网，https://hadoop.apache.org/docs/stable
官网介绍了最新版本的特性，以及入门安装文档:
单节点 Hadoop 安装和配置
看过官网我们得知，Hadoop需要依赖jdk环境，首先需要装jdk

一.单节点 Hadoop 安装

我的安装环境,macOS Catalina和jdk8，首选安装方式一：brew安装（默认安装最新版本），安装方式二：对版本有特殊要求的可以手动下载对应版本
在这里插入图片描述

1.安装方式一：brew安装
![在这里插入图片描述](https://img-blog.csdnimg.cn/0795ab2ec5b04b3db8a80e1b0fdaa5c0.png
先用brew info 查看需要安装的包信息，最新版本3.3.3
安装

brew install hadoop

如图：
在这里插入图片描述
安装中很慢，等着吧，再去看看官网文档，jdk版本的兼容性问题，我的刚好是1.8.0_191
它说所有 DES 密码套件都被禁用。如果您明确使用 DES 密码套件，则需要将密码套件更改为强密码套件，貌似升级集群会出现兼容性问题，很抽象看不懂先把不管了，反正单节点配置，以后再说

在这里插入图片描述
这会功夫下完了，打开看一下结果失败

在这里插入图片描述
原因是依赖openjdk
切换了openJDK，没有的可以去下载：openjdk库

下载还是失败，我emo了，看不懂，懂得大佬说下，天无绝人之路，既然不行，手动安装
在这里插入图片描述

下面是手动安装教程，如果你上面安装成功了，请略过，可以直接配置hadoop

2.安装方式二：手动选择版本安装教程
下载地址：https://dlcdn.apache.org/hadoop/common/，

2,1选择版本，我下载的是3.2.4
在这里插入图片描述
选这个，如图

2.2下载完后，把他放到自己想放的位置解压

tar -zxvf hadoop-3.2.4.tar.gz

解压完目录，hdfs是我新建的目录用来存放
在这里插入图片描述
目录说明：

bin：存放基础的管理脚本和使用脚本，这些脚本是sbin目录下管理脚本的基础实现，用户>可以用这些脚本管理和使用hadoop
etc：存放包括core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml等配置>文件。.template是模板文件。
lib：存放Hadoop的本地库（对数据进行压缩解压缩功能）
sbin：存放启动或停止Hadoop集群相关服务的脚本
share：存放Hadoop的依赖jar包、文档、和官方案例
libexec：各个服务所对应的shell配置文件所在目录，可用于配置日志输出目录、启动参数（比如JVM参数）等基本信息

安装完成接下来就要配置hadoop了

二：配置，我选择伪分布式模式

1.编辑文件 etc/hadoop/hadoop-env.sh 定义一些参数
在这里插入图片描述
找到这一块配置然后设置java安装的根目录

# 设置为 Java 安装的根目录
# The java implementation to use. By default, this environment
# variable is REQUIRED on ALL platforms except OS X!
export JAVA_HOME=/Library/Java/JavaVirtualMachines/temurin-8.jdk/Contents/Home

2.编辑文件 etc/hadoop/core-site.xml


<configuration>
        <!-- 指定hadoop运行时产生文件的存储路径 -->
          <property>
             <name>hadoop.tmp.dir</name>
             <value>/Users/chenl/Library/JavaSoft/Middleware/Hadoop/hadoop3.2.4/hdfs/tmp</value>
          </property>
          <!-- 指定HDFS老大（namenode）的通信地址 -->
     <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

3.编辑文件 etc/hadoop/hdfs-site.xml

<configuration>
        <!-- 变量dfs.replication指定了每个HDFS数据库的复制次数。 通常为3,
        由于我们只有一台主机和一个伪分布式模式的DataNode，将此值修改为1 -->
     <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

4.配置ssh 免密登录
因为Hadoop是分布式平台，需要多个机器之间协作，设置ssh免密码登录可以减少每次登陆主机输入密码的繁琐流程。
4.1mac开始远程登录
系统偏好设置->共享->勾选远程登录

在这里插入图片描述
4.2配置免密
打开终端，运行，一直按回车

ssh-keygen -t rsa -P ''

会看到~/.ssh目录下有两个文件，如图
①私钥：id_rsa
②公钥：id_rsa.pub
ainibaiuandeMBP:~ chenl$ cd ~/.ssh
ainibaiuandeMBP:.ssh chenl$ ls
authorized_keys id_rsa id_rsa.pub known_hosts
ainibaiuandeMBP:.ssh chenl$
cd ~/.ssh
将公钥内容写入到~/.ssh/authorized_keys中赋权限，执行以下命令：

  $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
  $ chmod 0600 ~/.ssh/authorized_keys

验证,执行 ssh localhost，如图成功，不成功重复以上操作试一遍
在这里插入图片描述
5.配置hadoop环境变量，用户的

$ cd ~
$ vim .bash_profile

添加

#Hadoop 3.2.4
export HADOOP_HOME=/Users/chenl/Library/JavaSoft/Middleware/Hadoop/hadoop-3.2.4
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

最后刷新下 source .bash_profile

3.运行

3.1第一次需要先格式化，执行命令 hdfs namenode -formatt
3.2执行命令

$ cd $HADOOP_HOME
$ pwd
/Users/chenl/Library/JavaSoft/Middleware/Hadoop/hadoop-3.2.4

环境变量配置成功
(1)启动 start-dfs.sh
(2)关闭 stop-dfs.sh
3.hadoop版本是3.X，端口是9870,验证是否成功,浏览器访问.如图就成功了
http://localhost:9870

在这里插入图片描述

如有错误，敬请指出，一起成长！