Hadoop安装准备

原创

已于 2022-12-17 20:18:55 修改 · 1k 阅读

CC 4.0 BY-SA版权

文章标签：

于 2022-12-09 09:18:48 首次发布

本文档详细介绍了如何搭建一个完全分布式Hadoop集群，包括集群拓扑设计、虚拟机安装、克隆、配置以及SSH服务的配置，确保实现各节点间免密登录。通过在虚拟环境中设置master和两个slave节点，关闭SeLinux并配置静态IP，为后续的大数据处理打下基础。

（一）Hadoop集群拓扑

一个主节点，两个从节点
请添加图片描述

完全分布式Hadoop集群搭建需要在集群的每个节点都安装Hadoop，集群角色分配如下表所示。

Hadoop集群的搭建要涉及到多台机器，而在日常学习和个人开发测试过程中，这显然是不可行的，为此，可以使用虚拟机软件（例如VMware Workstation）在同一台电脑上构建多个Linux虚拟机环境，从而进行Hadoop集群的学习和个人测试。

安装了虚拟机CentOS 7
在这里插入图片描述

配置了静态IP地址（192.168.1.100）和主机名（ied）

在这里插入图片描述

关闭与禁用了防火墙
在这里插入图片描述

安装了vim编辑器
在这里插入图片描述

完整克隆是对原始虚拟机完全独立的一个拷贝，它不和原始虚拟机共享任何资源，可以脱离原始虚拟机独立使用。

链接克隆需要和原始虚拟机共享同一虚拟磁盘文件，不能脱离原始虚拟机独立运行。但是采用共享磁盘文件可以极大缩短创建克隆虚拟机的时间，同时还节省物理磁盘空间。

关闭CentOS 7虚拟机，在VMware工具左侧系统资源库中右键单击CentOS 7，选择“管理”列表下的“克隆”选项，弹出克隆虚拟机向导。
在这里插入图片描述

在这里插入图片描述

选择克隆源——虚拟机中的当前状态
在这里插入图片描述

选择克隆类型——创建链接克隆
在这里插入图片描述

设置新虚拟机名称和位置
在这里插入图片描述

单击【完成】按钮
在这里插入图片描述

单击【关闭】，查看master虚拟机
在这里插入图片描述

按照克隆master虚拟机的步骤克隆出slave1虚拟机