高级分布式系统大作业：搭建Hadoop集群

高级分布式系统大作业

（傻瓜式保姆级教程！！！）

基于 Docker+Ubuntu系统搭建一个完整的 Hadoop 分布式集群环境。其主要内容和步骤包括：

1. 虚拟机设置：

在 Windows10 物理机上安装 Ubuntu22.4.1 虚拟机，并配置所需的 Docker 服务。

2. 安装 Docker：

通过命令行安装 Docker 服务，启动服务，并检查其运行状态。

3. 制作容器镜像：

拉取 Ubuntu22.4.1 镜像，并利用 Dockerfile 文件自定义构建支持 SSH 的镜像。

4. 创建 Hadoop 集群的容器：

创建三个 Docker 容器作为 Hadoop 集群的节点 (hadoop1, hadoop2, hadoop3)，并通过 Docker 网络功能连接这些节点。

5. 在容器内配置软件环境：

配置 SSH 免密登录。

安装 JDK 1.8 和 Hadoop 3.1.3。

配置 Hadoop 环境变量及其配置文件（如 `hadoop-env.sh`, `core-site.xml`, `hdfs-site.xml`, `mapred-site.xml`, `yarn-site.xml`）。

6. 启动 Hadoop 集群：

格式化 HDFS 并启动 Hadoop 集群服务。

提供访问 HDFS 和 YARN 的 Web 界面。

7. 测试 Hadoop 集群功能：

通过 MapReduce 示例程序 WordCount 验证集群功能是否正常。

一、安装VM

我的安装过程参考优快云博客链接如下：https://blog.youkuaiyun.com/Zuo19960127/article/details/118338548

下载VMware

百度网盘：通过网盘分享的文件：VMware-player-full-16.2.2-19200509.exe

链接: https://pan.baidu.com/s/1z_9sTBWdv2D-0mqJSdXm2Q?pwd=1234 提取码: 1234

--来自百度网盘超级会员v6的分享

提取码：88xf

Ubuntu的安装和上面文章中的CentOS类似，下载ubuntu的网盘链接

通过网盘分享的文件：ubuntu-22.04.1-desktop-amd64.iso

链接: https://pan.baidu.com/s/1Wuvwf6Ba4JUYYdBYCLw5Ig?pwd=1234

二、安装Docker

在安装之前将用户添加 sudo组，拥有root权限

 sudo usermod -aG sudo ls020

查看是否添加成功，如下图，输出包含sudo即可

 groups ls020

可以重启生效，也可以使更改立即生效，代码如下：

 newgrp sudo

1. 更新系统包

打开终端并运行以下命令，确保系统包是最新的：

 sudo apt update
 sudo apt upgrade -y

2. 安装必要的依赖

安装支持 HTTPS 的软件包：

sudo apt install -y apt-transport-https ca-certificates curl software-properties-common

3. 添加Docker官方GPG密钥

运行以下命令添加Docker的GPG密钥（这个是国外官方网址，可能添加不了，推荐使用下面的国内镜像）：

 curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg

#添加阿里云的Docker GPG密钥

 curl -fsSL https://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg

4. 添加Docker仓库

确定系统架构并添加Docker仓库：

echo "deb [arch=$(dpkg --print-architecture) signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

5. 安装Docker

清理缓存并更新：

 sudo apt clean
 sudo apt update

然后安装 Docker：

 sudo apt install -y docker-ce docker-ce-cli containerd.io

6. 验证Docker安装

检查Docker版本以确认安装是否成功：

 docker --version

成功截图如下：

补充：删除Docker

1. 停止 Docker 服务

首先停止 Docker 服务：

 sudo systemctl stop docker

2. 删除 Docker 包

使用 apt 来卸载 Docker：

 sudo apt-get purge docker docker-ce-cli containerd.io

docker-ce: Docker 社区版

docker-ce-cli: Docker 命令行工具

containerd.io: Docker 使用的容器运行时

3. 删除 Docker 配置文件和数据

删除 Docker 配置文件、镜像、容器和数据存储目录：

 sudo rm -rf /var/lib/docker
 sudo rm -rf /etc/docker
 sudo rm -rf /var/run/docker*
 sudo rm -rf /var/log/upstart/docker.log

这些命令会删除 Docker 的所有数据，包括镜像、容器、网络设置和配置文件等。

4. 删除 Docker 用户组（可选）

如果 Docker 被安装时创建了一个 Docker 用户组，你可以删除它：

 sudo groupdel docker

5. 删除 Docker 的网络桥接

如果你曾经创建了 Docker 的自定义网络（如 bridge、host 或 overlay 网络），可以清除 Docker 配置：

 sudo ip link set docker0 down
 sudo brctl delbr docker0

6. 清理系统缓存

为了确保没有残留的缓存文件，可以执行以下命令：

 sudo apt-get autoremove
 sudo apt-get autoclean

这会自动清理不再需要的软件包和缓存。

7. 删除 Docker 相关的依赖包（可选）

如果你不再使用 Docker，也可以删除与其相关的依赖包：

 sudo apt-get remove --purge docker-ce docker-ce-cli containerd.io

8. 重启计算机（可选）

为了确保所有变更生效，你可以重启计算机：

 sudo reboot

9. 验证 Docker 是否完全删除

重启后，你可以运行以下命令检查 Docker 是否已被完全删除：

 docker --version

如果返回 command not found，则表示 Docker 已被成功卸载。

三、拉取和制作镜像

(1)拉取镜像

拉取ubuntu镜像，官方镜像无法拉取，需要翻墙，所以建议使用下面的方法（实践可行）

修改 Docker 配置文件 在虚拟机或主机上，你可以通过编辑 Docker 的 daemon.json 配置文件，指定一个或多个镜像加速器或自定义镜像仓库。

1. 打开 daemon.json 配置文件：

 sudo nano /etc/docker/daemon.json

2、在文件中添加可用的镜像仓库地址，例如：

 {
   "registry-mirrors": ["https://docker.sunzishaokao.com"]
 }

如果已经有其他配置，确保保持格式一致，逗号分隔。

保存并关闭文件。

 按Ctrl+O 然后回车 #保存修改
 按Ctrl+X #退出

3、重启 Docker 服务

sudo systemctl restart docker

4、确认修改配置成功

通过以下命令检查 Docker 是否成功配置了新的镜像仓库：

sudo docker info

查看输出