hadoop(3) 搭建hadoop-HA_hadoop3 ha(2)

本文详细描述了在多个节点上进行网络配置、用户管理(包括添加新用户、设置密码和sudo权限)、修改主机名、时区和时间、安装JDK和Hadoop,以及配置SSH免密、Zookeeper和HDFS的系统化过程,最后涉及格式化和启动Hadoop集群。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

4)重启网卡
node01节点、node01节点、node03节点都需重启网卡

systemctl restart network

3.新建用户并添加sudo权限

1)添加用户:useradd 用户名
node01节点、node01节点、node03节点都添加hadoop用户

useradd hadoop

2)修改密码:passwd 用户名
node01节点、node01节点、node03节点都修改hadoop密码

passwd hadoop

3)修改sudoers文件,给用户sudo权限
node01节点、node01节点、node03节点都在sudoers下添加一行:hadoop ALL=(ALL) ALL

#修改sudoers权限
chmod 777 /etc/sudoers

#修改sudoers文件
vi /etc/sudoers

#在文件/etc/sudoers的root ALL=(ALL) ALL下添加一行
hadoop ALL=(ALL)      ALL

#将sudoers文件权限改回来
chmod 440 /etc/sudoers

4)修改hosts文件

#编辑/etc/hosts文件
vi /etc/hosts

node01节点、node01节点、node03节点都做以下配置

#在/etc/hosts下添加
192.168.132.101 node01
192.168.132.102 node02
192.168.132.103 node03

5)修改hostname文件

#修改/etc/hostname文件
vi /etc/hostname

node01节点配置为node01
node02节点配置为node02
node03节点配置为node03

#将/etc/hostname的文本修改为对应服务器名(master01,node01,node02)
node01

4.时间修改,避免节点心跳时间对不上导致出错

node01节点、node01节点、node03节点都做以下配置

#修改时区
ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

#修改时间
#查看硬件的时间
hwclock --show

#设置硬件时间,正常修改时区就够了,如有需要,可以定一个固定的时间
hwclock --set --date '2024-02-...'

#设置系统时间和硬件时间同步
hwclock --hctosys

#保存时钟
clock -w

5.安装jdk环境

node01节点、node01节点、node03节点都做以下配置

下载地址:https://www.oracle.com/downloads/graalvm-downloads.html
jdk8下载地址:https://www.oracle.com/java/technologies/downloads/#java8

#解压
tar -zxvf jdk-8u401-linux-x64.tar.gz

#新建放jdk的文件夹
mkdir -p /usr/java
mv jdk1.8.0_401 /usr/java/jdk

#编辑/etc/profile文件
vi /etc/profile

#添加环境变量
export JAVA\_HOME=/usr/java/jdk
export PATH=$JAVA\_HOME/bin:$PATH

#刷新环境变量
source /etc/profile

#验证
java -version

6.安装hadoop

node01节点、node01节点、node03节点都做以下配置

下载地址:https://dlcdn.apache.org/hadoop/common

#解压
tar -zxvf hadoop-3.3.6.tar.gz

#移动hadoop到对应的文件夹
mv hadoop-3.3.6 /usr/hadoop

#编辑/etc/profile文件
vi /etc/profile

#添加环境变量
e
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值