1、服务器准备
参考:大数据入门(一)环境搭建,VMware15+CentOS8.1配置
2、JDK环境安装
3、网络环境准备
4、集群搭建
(1)准备3台客户机
克隆之前配置好的虚拟机,
克隆两次,得到:
把三个主机都开启,使用命令进行ip修改,这里要注意,如果配置完ip用ip addr
查看发现ip没变化,需重启。
#仅需要对克隆的主机进行修改
#修改ip
vi /etc/sysconfig/network-scripts/ifcfg-ens33
#修改主机名
hostnamectl set-hostname node2
hostnamectl set-hostname node3
配置host,使得主机之间实现通过host访问,而不是用ip访问
[root@node1 ~]# vi /etc/hosts
配置主机host
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.100.21 node1
192.168.100.22 node2
192.168.100.23 node3
同步配置:
scp -r /etc/hosts root@node2:/etc/
scp -r /etc/hosts root@node3:/etc/
用ping测试:
上面在同步配置的时候,还是需要密码才能访问,这里需要设置ssh免密登录,每个主机都要配置:
ssh-keygen -t rsa
ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3
到此基本的配置已经完成了
下载Hadoop压缩包:https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz
参考
之后的参考下面的链接
Hadoop(二)CentOS7.5搭建Hadoop2.7.6完全分布式集群
Linux之CentOS7.5安装及克隆
系列:
大数据入门(一)环境搭建,VMware15+CentOS8.1 配置
https://blog.youkuaiyun.com/qq_34391511/article/details/104874044
大数据入门(二)Centos8,JDK 配置
https://blog.youkuaiyun.com/qq_34391511/article/details/104893587
大数据入门(三)CentOS 网络配置
https://blog.youkuaiyun.com/qq_34391511/article/details/104895498
大数据入门(四)Hadoop 集群搭建
https://blog.youkuaiyun.com/qq_34391511/article/details/104885278
大数据入门(五)windows 上搭建单机版 Hadoop2.8(踩坑记录)
https://blog.youkuaiyun.com/qq_34391511/article/details/104948319
大数据入门(六)win10 对 Hadoop hdfs 的基本操作
https://blog.youkuaiyun.com/qq_34391511/article/details/105070955
大数据入门(七)win10 上 eclipse 使用 Hadoop 的配置
https://blog.youkuaiyun.com/qq_34391511/article/details/105066667
大数据入门(八)win10 下的 wordcount
https://blog.youkuaiyun.com/qq_34391511/article/details/105073076
大数据入门(九)基于 win10 的 Hadoop,java 代码进行 hdfs 操作
https://blog.youkuaiyun.com/qq_34391511/article/details/105145380