Hadoop

最新推荐文章于 2025-10-16 18:56:32 发布

原创最新推荐文章于 2025-10-16 18:56:32 发布 · 194 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop

本文详细介绍了如何在vmware虚拟机中搭建Hadoop集群，包括网络配置、虚拟机设置、jdk与Hadoop安装包的下载与传输、环境变量配置、集群克隆以及各节点的IP与hostname设置。此外，还涉及到了SSH免密登录的配置以及核心配置文件的修改，如core-site.xml、hdfs-site.xml等，最后提到关闭防火墙并重启集群。

Hadoop集群搭建

搭建集群首先要设置网络我使用的是vmware虚拟机
在这里插入图片描述
在编辑的虚拟网络编辑器中设置进入虚拟网络编辑器

更改配置
在这里插入图片描述

一般网络配置要更改三个地方 vmware 你创建的虚拟机配置还有windows系统

现在我们将vmware配置好现在去更改Windows的
打开Windows网络配置选择高级网络配置中的更改适配器选项
在这里插入图片描述

点开以太网4 发现是vmnet1 而我们要更改的是vmnet8 前往别改错了
打开以太网5的属性
在这里插入图片描述

点击进入
在这里插入图片描述

打钩后确认更改那么 windows就修改完毕了
先将创建的虚拟机改名
第一台机器叫hadoop100
一共有三台每台机器的名字不能相同
接下来修改创建的虚拟机配置
在这里插入图片描述

进入修改

在这里将添加主机的地址和映射
在这里插入图片描述

因为待会要用到所以直接多添加几个映射
然后下载xshell 和xftp 方便使用虚拟机和从Windows中传输文件给虚拟机
然后去官网下载jdk的安装包
在这里插入图片描述

要下载适配的是压缩存档的就是后面有tar.gz的不要下载错误了 Hadoop的下载也是一样的道理将这两个安装包放到自己虚拟机中就是连接xshell和虚拟机然后用xftp传输所以一个在在虚拟机中创建一个文件夹专门存放着安装包顺便也创个文件夹用于存放解压后的文件我一般将 /opt 作为我的主要路径在这个路径下我创建了 software和module 分别用于存放按转包和解压后的文件
如果遇到使用xftp中传输失败室友八九是路径的权限不够用chmod 的命令更改路径权限即可

当然解压好了hadoop和jdk后还要进行路径的配置环境配置你可以在`/.bashrc 和 profile.d中进行设置添加路径就是
在这里插入图片描述

然后你就可以把这台虚拟机进行克隆克隆两台那么你就有三台了然后将克隆的这两台分别修改hostname 为 hadoop101和hadoop102 在去修改网络的IP地址

分别将IP地址设置为192.168.10.101和192.168.10.102其他的设置不用变
然后设置三台机器的ssh免密安全的登录
Ssh设置好后我们就可以开始配置集群了
这是我们的规划
在这里插入图片描述

在hadoop100上放datanode 和namenode 在hadoop101中就存放datanode Hadoop103中设置了datanode和secondarynamenode
具体在那些文件配置呢
core-site.xml hdfs-site.xml mapred-site.xml yarn-site.xml
这几个文件在你的解压后的hadoop中的etc中的hadoop中
在这里插入图片描述