### Hadoop 环境配置教程
Hadoop 环境的配置需要经过多个步骤，包括环境准备、安装 JDK 和 Hadoop、配置相关文件以及启动服务。以下是详细的配置过程：
#### 一、环境准备
1. **虚拟机设置**
需要三台虚拟机作为主节点（NameNode）和从节点（DataNode）。确保每台虚拟机的网络配置正确[^3]。如果遇到网络共享故障，可以尝试删除并重建 VirtualBox Host
-Only Ethernet Adapter，并启用 DHCP。
2. **修改主机名称**
在每台虚拟机中使用 `hostname` 命令修改主机名称，例如主节点命名为 `master`，从节点分别命名为 `slave1` 和 `slave2`[^1]。
3. **安装 JDK 并配置环境变量**
下载并安装 JDK，然后在 `/etc/profile` 文件中添加以下内容以配置环境变量：
```bash
export
JAVA_HOME=/usr/
local/jdk1.8.0_
XXX
export PATH=$
JAVA_HOME/bin
:$PATH
```
完成后执行 `source /etc/profile` 使配置生效[^4]。
4. **关闭防火墙**
使用命令 `systemctl status firewalld` 查看防火墙状态，如果防火墙开启，则使用 `systemctl stop firewalld` 关闭防火墙[^1]。
#### 二、Hadoop 模式配置
根据需求选择不同的运行模式，包括本地模式、伪分布式模式和完全分布式模式。
1. **本地模式**
在单台机器上运行 Hadoop，无需额外配置即可直接运行 MapReduce 程序。
2. **伪分布式模式
- HDFS**
修改以下配置文件：
- **workers**：指定从节点列表，伪分布式模式下可为空。
- **hadoop
-env.sh**：设置 `
JAVA_HOME` 路径。
- **core
-site.xml**：配置 HDFS 的默认文件系统
URI。
```xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs
://
localhost
:9000</value>
</property>
</configuration>
```
- **hdfs
-site.xml**：配置副本数量。
```xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
```
3. **伪分布式模式
- YARN**
修改 `yarn
-site.xml` 配置文件以启用 YARN：
```xml
<configuration>
<property>
<name>yarn.nodemanager.aux
-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
```
4. **完全分布式模式**
在主节点和从节点上分别配置以下文件：
- **workers**：列出所有从节点的主机名。
- **core
-site.xml**：将 `fs.defaultFS` 设置为主节点的 IP 地址。
```xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs
://master
:9000</value>
</property>
</configuration>
```
- **hdfs
-site.xml**：设置副本数量为 2 或更多。
```xml
<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>
```
#### 三、启动 Hadoop 服务
1. 格式化 HDFS 文件系统：
```bash
hdfs namenode
-format
```
2. 启动 HDFS 和 YARN 服务：
```bash
start
-dfs.sh
start
-yarn.sh
```
3. 验证服务是否正常运行：
使用 `jps` 命令检查进程是否启动成功。在主节点上应看到 `NameNode` 和 `ResourceManager`，在从节点上应看到 `DataNode` 和 `NodeManager`[^2]。
---
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
1099
