从您提供的信息来看，
Hadoop作业
运行失败的原因在于数据节点（DataNodes）不可用或未正常启动。以下是针对此问题的具体分析以及解决办法：
### 问题描述
当尝试提交
Hadoop MapReduce WordCount 示例任务 `
hadoop jar
hadoop-
mapreduce-examples-3
.2.4
.jar
wordcount /
wordcount.txt /output` 时，日志显示以下关键错误：
```
File /tmp/
hadoop-yarn/staging/root/
.staging/
job_1
74
24409
7710
7_
0002/
job.jar could only be written to 0 of the 1 minReplication nodes
.
There are 0 datanode(s)
running and 0 node(s) are excluded in this operation
.
```
这意味着当前集群中没有任何可用的数据节点 (Datanodes)，导致文件无法复制到所需的副本数 (`minReplication`)。
---
### 可能原因及解决方案
#### 原因 1：Datanodes 没有启动
检查是否所有 Datanodes 正常工作并连接到了 Namenode 上。
**解决步骤**：
1
. 执行命令 `jps` 查看是否有 Datanode 进程存在。
- 如果看不到 Datanode，则需要手动启动它。
- 使用以下命令重启 HDFS 和 YARN：
```bash
stop-dfs
.sh && start-dfs
.sh
```
- 或者单独启动 Datanode：
```bash
hadoop-daemon
.sh start datanode
```
2. 确认 Datanodes 是否成功注册到 Namenode：
- 访问 Web UI 页面 http
://<namenode-host>
:98
70 并查看 "Live Nodes" 部分是否存在 Datanodes 列表。
---
#### 原因
2：Namenode 和 Datanode 的配置不匹配
如果 Namenode 和 Datanode 的配置文件（如 core-site
.xml、hdfs-site
.xml）中的参数设置不一致，可能导致两者之间通信失败。
**解决步骤**：
1
. 检查 `core-site
.xml` 文件中的 `fs
.defaultFS` 参数值是否正确指向 Namenode 地址。
```xml
<property>
<name>fs
.defaultFS</name>
<value>hdfs
://<namenode-host>
:9000</value>
</property>
```
2. 检查 `hdfs-site
.xml` 中关于副本数的设置是否合理，默认情况下应为 3：
```xml
<property>
<name>dfs
.replication</name>
<value>1</value> <!-- 修改成合理的值 -->
</property>
```
3
. 同步所有节点上的配置，并重新格式化 Namenode：
```bash
hdfs namenode -format
```
---
#### 原因 3：网络连接问题
若主机之间的防火墙规则阻止了端口访问（例如 50010、500
75），也可能导致 Datanodes 无法与 Namenode 对接。
**解决步骤**：
1
. 关闭防火墙服务（临时操作用于测试连通性）：
```bash
systemctl stop firewalld
```
2. 确保所有机器间的 SSH 密钥免密登录已配置完成：
```bash
ssh-keygen -t rsa
cat ~/
.ssh/id_rsa
.pub >> ~/
.ssh/authorized_keys
chmod 600 ~/
.ssh/authorized_keys
```
---
#### 原因 4：磁盘空间不足或其他硬件资源限制
有时由于本地存储设备损坏或者权限不够等原因造成写入异常。
**解决建议**：
1
. 登录至出现问题的那个服务器上核查实际硬盘状态；
```bash
df -hT /
du -sh $HOME/*
```
2. 根据提示清理无用的历史记录再试一次上传新版本jar包即可恢复功能正常使用状态。
---
###
扫一扫
5026
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
