伪分布式配置改为完全分布式

最新推荐文章于 2024-03-22 23:56:37 发布

原创

最新推荐文章于 2024-03-22 23:56:37 发布 · 721 阅读

4 ·

CC 4.0 BY-SA版权

本文档详细介绍了如何从伪分布式配置逐步转变为完全分布式Hadoop集群。内容包括配置静态IP、修改hostname、创建用户、设置sudo权限、建立主机与IP映射、安装JDK和Hadoop，并探讨了伪分布式与完全分布式集群的区别，以及在3台服务器上的角色分配。此外，还提到了两个用于检查和同步的脚本。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

#从0搭建伪分布式
==root用户
1.准备虚拟机
2.修改静态ip
DEVICE=“eth0”
BOOTPROTO=“static”
HWADDR=“00:0C:29:A2:3B:C9”
IPV6INIT=“yes”
NM_CONTROLLED=“yes”
ONBOOT=“yes”
TYPE=“Ethernet”
UUID=“0202b9d4-9762-4348-aa0c-7ce122f50d9e”
#IP地址
IPADDR=192.168.1.111 （自己配置）
#网关
GATEWAY=192.168.1.2
#域名解析器
DNS1=114.114.114.114
DNS2=8.8.8.8

service network restart  重启一下
ifconfig                 查看IP是否变化，没有变化重启

修改hostname主机
vim /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=hadoop01 (主机名)

	hostname主机重启后生效

添加用户
useradd jinghang
passwd jinghang

4.创建目录module（解压的安装包）、software（压缩的安装包）
mkdir /opt/module /opt/software

修改文件所属主和组
chown -R jinghang:jinghang /opt/module  /opt/software

5.给普通用户添加sudo权限
vim /etc/sudoers
在93行添加
jinghang ALL=(ALL) NOPASSWD:ALL

6.添加主机和IP的映射关系
vim /etc/hosts
静态ip 主机名
192.168.1.111 hadoop01
192.168.1.112 hadoop02
192.168.1.113 hadoop03

7.关机拍快照（conf_step1）

==============第七步之后普通用户操作

8.安装jdk和hadoop
将jdk-8u144-linux-x64.tar和hadoop-2.7.2.tar上传到/opt/software（打开xshell连接SFTP拖动文件到/opt/software）

安装jdk
1.解压jdk
	tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/
	
2.配置环境变量
	sudo vim /etc/profile
	
		#JAVA_HOME
		export JAVA_HOME=/opt/module/jdk1.8.0_144
		export PATH=$PATH:$JAVA_HOME/bin
	
	注意：如果之前存在java安装包，需要先卸载
	rpm -qa | grep java 查看
	rpm -e 安装包 --nodeps 卸载
	
安装hadoop
1.解压hadoop
	tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/
2.配置环境变量
	sudo vim /etc/profile
		#HADOOP_HOME
		export HADOO