CentOS7 快速搭建hadoop完全分布式集群环境

一、前情提要

！！注意！！

本篇博客有以下特点

1. 该搭建方式已完全写成脚本，可一键搭建环境——脚本教程
2. 基于docker搭建的hadoop完全分布式集群环境
3. 与传统的hadoop完全分布式集群环境在搭建方法有所区别，功能完全相同。
4. 本篇博客旨在快速搭建hadoop完全分布式集群环境。
5. 本篇博客不注重阐述搭建hadoop完全分布式集群环境的细节描述。
   若读者想要学习搭建集群环境的诸多细节，可留言。

原理

• 基于docker的hadoop完全分布式集群环境搭建
  (后续将放上docker软件的介绍）

已集成的环境

• java1.8
• hadoop2.7.2
• zookeeper3.4.10
• hive1.2.1
• hbase1.3.1
• Jobhistory(历史服务器)

集群部署规划

	hadoop1	hadoop2	hadoop3
HDFS	Namenode、DataNode	Datanode	Datenode
YARN	NodeManager	ResourceManager	NodeMangager
Zookeeper	QuorumPeerMain	QuorumPeerMain	QuorumPeerMain
Hbase	Hmaster、HRegionServer	HRegionServer	HRegionServer
HistoryServer	Jobhistory

二、必要准备

基础环境

1. 虚拟机软件，推荐vmware16（后续将放上安装vmware16虚拟机的方法）
2. 一个已经设置好静态IP且通网的CentOS7 以上的OS （建议配置 8G+200G）（因为我们只需要一台虚拟机即可完成安装，集群内的三台机器的呈现形式是以docker容器的方式存在）
   （后续将放上静态IP设置方法）

必须提前获取的参数！！！！

获取CentOS 7 以下参数

• 所属网段
• 子网掩码
• 网关
• 网卡名称

1. 打开虚拟网络编辑器
   

2. 选中网卡
   

3. 打开 NAT设置
   

4. 查看网关、网段、子网掩码
   

5. 查看网卡名称

在终端输入以下命令

ifconfig

---

---

！！！请记录下网段、网关、网卡名称！！！
！！！后面要用！！！！

---

三、详细步骤

1、安装docker

(此docker安装方式仅适用于CentOS7+,其他Linux发行版的docker安装方式请自行百度!)

• 安装所需的软件包

yum update -y yum-utils device-mapper-persistent-data lvm2

• 添加阿里的docker下载源

yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

• 下载docker

yum install -y docker-ce

• 启动docker服务

systemctl start docker

• 查看docker版本

docker -v

• 出现以下内容则表示安装成功

[root@localhost ~]# docker -v
Docker version 20.10.5, build 55c4c88

2、添加docker加速器

由于众所周知的原因，我们去docker hub 拉镜像的速度是很慢的。所以要添加docker加速器。介玩意就像玩吃鸡要用加速器一样重要。

• 编辑docker源

sudo tee /etc/docker/daemon.json <<-'EOF'
{
   
    "registry-mirrors": [
        "https://1nj0zren.mirror.aliyuncs.com",</