Hadoop 平台部署 + Centos7 + VMware

最新推荐文章于 2022-05-02 17:54:22 发布

原创

最新推荐文章于 2022-05-02 17:54:22 发布 · 2k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#java #hadoop #linux #centos

本文详细介绍了在CentOS7环境下，如何部署Hadoop平台，包括静态IP配置、关闭防火墙、配置SSH免密登录、时间同步、JDK安装、Hadoop包下载、配置文件修改以及集群启动的全过程。每个步骤都有清晰的操作指南，确保Hadoop集群稳定运行。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.4、配置主机名，编辑 hosts 文件

2.3、拷贝 Hadoop 文件夹到 slave1 和 slave2

Hadoop 平台部署步骤

1、前置工作

1.1、需求：

centos7 操作系统（或 ubuntu 也可以，都是类似的）

一台 master 和两台 slave，master 配置可以好一点，内存分配大一些

虚拟机的网络连接模式使用： NAT 模式

使用 root 用户登录操作系统

1.2、静态 ip 配置

注：每一台机子都要配置

在配置静态ip地址之前，可以先进行网络检测

首先可以检查一下网络连接是否正常，使用 ping 命令

ping www.baidu.com

如果网络没有打开，可以命令

 service network restart

静态ip配置步骤

1、进入网卡配置目录

 cd /etc/sysconfig/network-scripts/

使用ls命令查看网卡名称（如：ifcfg-ens33）

2、使用编辑对应网卡的配置文件

 # 如果没有安装该命令可以使用 yum install vim -y 命令安装一下，或者使用 vi 命令进行编辑
 vim ifcfg-ens33

首先，输入i进入编辑模式

将配置修改或添加成如下内容：

BOOTPROTO=static # 使用静态IP地址，默认为dhcp

ONBOOT=yes #开机启动

IPADDR=192.168.50.10 # 设置的静态IP地址

NETMASK=255.255.255.0 # 子网掩码

GATEWAY=192.168.50.2 # 网关地址与虚拟网络编辑器中的保持一致

DNS1=233.5.5.5 # DNS服务器

DNS2=180.76.76.76 # 备用的DNS服务器

如果使用的是虚拟机，注意 ip 地址的网段跟宿主机保持一致

按下esc键，再输入：wq保存退出

3、重启网络服务

 service network restart

4、使用ping命令测试一下网络连接是否正常

1.3、关闭防火墙

注：每一台机子都要配置

 # 第一步，关闭防火墙（暂时）
 systemctl stop firewalld
 # 第二步，设置开机禁用防火墙（永久关闭防火墙）
 systemctl disable firewalld
 # 第三步，查看防火墙状态，确认防火墙已关闭
 systemctl status firewalld

1.4、配置主机名，编辑 hosts 文件

注：每一台机子都要配置

1、修改主机名

 hostnamectl set-hostname master

重启reboot后生效

2、编辑hosts文件

 vim /etc/hosts

添加以下信息（相当于给对应 ip 地址的主机添加对应的名称）

192.168.50.10 master

192.168.50.20 slave1

192.168.50.30 slave2

三台都添加完后，测试是否能够互相ping通，如 master 下 ping slave1，直接使用命令ping slave1即可，能ping 通说明三台虚拟机之间是互联的。

1.5 配置 SSH 免密登录

注：每一台机子都要配置

1、使用以下命令生成公私钥对（三台都需要生成）

 ssh-keygen -t rsa　　# 默认指定的是 rsa 算法，所以也可以没有-t rsa

一路默认直接回车就行

CentOS7 默认使用 RSA 加密算法生成密钥对，生成的公钥和私钥保存在 ~/.ssh 目录下，分别为 id_rsa（私钥）和 id_rsa.pub（公钥）。

2、将公钥拷贝到另外两台机子上的认证文件中

可以利用 ssh-copy-id 命令进行拷贝操作。（推荐使用，方便快捷）

注：还可以使用步骤 3 + 步骤 4 的方法进行拷贝，如果使用过了步骤 2 的方式，可以直接跳过步骤 3 和步骤 4

# m

最低0.47元/天解锁文章

200万优质内容无限畅学