本文详细介绍了Hadoop的三种部署模式：独立模式、伪分布式和完全分布式，并提供了Hadoop集群规划、JDK安装配置及Hadoop安装的步骤。在集群规划中，包括了一台主节点和两台从节点的角色分配。JDK安装涉及下载、上传、安装和配置环境变量，并通过分发确保所有节点环境一致。最后，文章还涵盖了Hadoop的下载、解压、配置环境变量以及验证安装的流程。
部署Hadoop
一、Hadoop部署模式
1、独立模式
在独立模式下，所有程序都在单个JVM上执行，调试Hadoop集群的MapReduce程序也非常方便。一般情况下，该模式常用于学习或开发阶段进行调试程序。
2、伪分布式模式
在伪分布式模式下， Hadoop程序的守护进程都运行在一台节点上，该模式主要用于调试Hadoop分布式程序的代码，以及程序执行是否正确。伪分布式模式是完全分布式模式的一个特例。
3、完全分布式模式
在完全分布式模式下，Hadoop的守护进程分别运行在由多个主机搭建的集群上，不同节点担任不同的角色，在实际工作应用开发中，通常使用该模式构建企业级Hadoop系统。
二、Hadoop集群规划
1、集群拓扑
- 一个主节点，两个从节点
2、角色分配
- 完全分布式Hadoop集群搭建需要在集群的每个节点都安装Hadoop，集群角色分配如下表所示。
| 节点 | 角色 |
|---|---|
| master | NameNode, DataNode |
| slave1 | DataNode |
| slave2 | DataNode |
三、JDK安装与配置
由于Hadoop是由Java语言开发的，Hadoop集群的使用依赖于Java环境，因此安装Hadoop集群之前，需要先安装并配置好JDK。
1、下载JDK压缩包
2、上传到master虚拟机
- 将JDK压缩包上传到master虚拟机/opt目录
查看上传的JDK压缩包
3、在master虚拟机上安装配置JDK
-
执行命令：
tar -zxvf jdk-8u231-linux-x64.tar.gz -C /usr/local，将JDK压缩包解压到指定目录
最低0.47元/天 解锁文章
扫一扫
2040
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
