###
Hadoop 完全分布式集群配置教程
#### 1
. 虚拟机安装与基础设置
在构建
Hadoop 完全分布式集群之前，需
完成虚拟机的基础环境准备。这包括
操作系统安装、网络配置以及主机名设定等
操作[^1]。
#### 2
. 前置环境设置
为了实现无密码 SSH 登录，在主节点上生成公钥并将其复制至所有从节点。具体命令如下：
```bash
ssh-keygen -t rsa
ssh-
copy-id hd@
hadoopSlave01
ssh-
copy-id hd@
hadoopSlave02
```
此外，还需确认各节点间能够通过主机名相互访问，并验证免密登录功能是否正常工作[^3]。
#### 3
. JDK 及
Hadoop 的安装与配置
#####
(a
) 解压软件包
将下载好的
Hadoop 和 JDK
安装包上传至服务器后进行解压缩处理。
```bash
tar -zxvf jdk-8uXXX-linux-x
64
.tar
.gz -C /opt/module/
tar -zxvf
hadoop-3
.X
.X
.tar
.gz -C /opt/module/
```
#####
(b
) 设置环境变量
编辑 `/etc/profile` 文件以定义必要的路径参数，确保每台机器都具备一致的配置内容[^4]:
```bash
export JAVA_HOME=/opt/module/jdk1
.8
.0_XXX
export
HADOOP_HOME=/opt/module/
hadoop-3
.X
.X
export PATH=$PATH:$JAVA_HOME/bin:$
HADOOP_HOME/bin:$
HADOOP_HOME/sbin
```
执行 `source /etc/profile` 更新当前会话中的更改效果。
#####
(c
) 修改核心配置文件
进入 `$
HADOOP_HOME/etc/
hadoop/` 目录调整以下几项主要文档：
###### i
. **core-site
.xml**
指定默认文件系统地址及其存储位置。
```xml
<configuration>
<property>
<name>fs
.defaultFS</name>
<value>hdfs://
hadoopMaster:9000</value>
</property>
<property>
<name>
hadoop.tmp
.dir</name>
<value>/opt/data/tmp</value>
</property>
</configuration>
```
###### ii
. **hdfs-site
.xml**
增加副本数量和命名节点元数据保存地点的信息。
```xml
<configuration>
<property>
<name>dfs
.replication</name>
<value>2</value>
</property>
<property>
<name>dfs
.namenode
.name
.dir</name>
<value>file:/opt/data/namenode</value>
</property>
<property>
<name>dfs
.datanode
.data
.dir</name>
<value>file:/opt/data/datanode</value>
</property>
</configuration>
```
###### iii
. **mapred-site
.xml**
启用 YARN 上运行 MapReduce 应用程序的功能。
```xml
<configuration>
<property>
<name>mapreduce
.framework
.name</name>
<value>yarn</value>
</property>
</configuration>
```
###### iv
. **yarn-site
.xml**
配置 ResourceManager 地址及其他资源管理选项。
```xml
<configuration>
<property>
<name>yarn
.resourcemanager
.hostname</name>
<value>
hadoopMaster</value>
</property>
<property>
<name>yarn
.nodemanager
.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
```
###### v
. **workers 或
slaves 文件**
列出所有的 DataNode 主机名称以便自动识别成员身份。
```
hadoopSlave01
hadoopSlave02
```
#### 4
. 启动前准备工作
初次启动时需要初始化 NameNode 数据结构，此过程仅限于第一次部署阶段使用特定指令
完成格式化动作[^2]:
```bash
hdfs namenode -format
```
随后利用脚本批量同步修改后的配置资料到其他子节点之上:
```bash
scp -r $
HADOOP_HOME hd@
hadoopSlave01:/opt/module/
scp -r $
HADOOP_HOME hd@
hadoopSlave02:/opt/module/
```
#### 5
. 开启服务进程
按照顺序依次激活各个组件实例来保障整体架构平稳运作:
```bash
start-dfs
.sh
start-yarn
.sh
mr-jobhis
tory-daemon
.sh start his
toryserver
```
最后可通过浏览器界面查看状态概览页面
(http://
master_ip:9870, http://
master_ip:8088
)，从而判断整个框架是否成功上线运转起来。
---
该博客详细介绍了如何将master节点上的Hadoop安装包、环境变量文件通过SCP命令复制到slave1和slave2的/data目录，并在slave节点上激活环境变量，以及复制hadoop日志目录，完成Hadoop完全分布式搭建过程。
最低0.47元/天 解锁文章
扫一扫
949
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
