Hadoop运行mapreduce实例时,抛出错误 All datanodes xxx.xxx.xxx.xxx:xxx are bad. Aborting…

最新推荐文章于 2024-04-28 09:09:27 发布
最新推荐文章于 2024-04-28 09:09:27 发布 · 1.8k 阅读 · 2
文章标签：

#Hadoop #Mapreduce #Java #Apache #Linux

本文详细介绍了在使用Hadoop运行MapReduce实例时遇到的错误，即所有数据节点出现问题并导致程序终止。通过检查和调整Linux机器上的文件打开数目限制，最终成功解决了问题。解决方案包括使用ulimit命令查找默认值，修改/ect/security/limit.conf文件以增加限制，并确保所有datanode进行相应修改。

Hadoop运行mapreduce实例时,抛出错误 All datanodes xxx.xxx.xxx.xxx:xxx are bad. Aborting…

 

java.io.IOException: All datanodes xxx.xxx.xxx.xxx:xxx are bad. Aborting…

at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.processDatanodeError(DFSClient.java:2158)

at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.access$1400(DFSClient.java:1735)

at org.apache.hadoop.dfs.DFSClient$DFSOutputStream$DataStreamer.run(DFSClient.java:1889)

java.io.IOException: Could not get block locations. Aborting…

at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.processDatanodeError(DFSClient.java:2143)

at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.access$1400(DFSClient.java:1735)

at org.apache.hadoop.dfs.DFSClient$DFSOutputStream$DataStreamer.run(DFSClient.java:1889)

经查明，问题原因是linux机器打开了过多的文件导致。

用命令ulimit -n可以发现linux默认的文件打开数目为1024

修改/ect/security/limit.conf，增加hadoop soft 65535
再重新运行程序（最好所有的datanode都修改），问题解决

 

非常感谢淘宝团队：http://rdc.taobao.com/blog/dw/archives/245

Hive Sql执行出错 Dag submit failed due to java.io.IOException: All datanodes DatanodeInfoWithStorage
阿拉修
10-25 1767
检查集群中的 Dfs.replication 属性，集群中 INFORMATICA 的最小复制因子为 3 (dfs.replication=3)。第二步：修改dfs.replication值为3（页面上操作），然后重启HDFS。根本原因是集群中的一个或多个信息块在所有节点中都已损坏，因此映射无法获取数据。如果副本数还是3，首先确认副本参数是否已经生效(第三步的命令中可以查看)，第四步、手动创建一个文件，上传至HDFS，观察其副本数。第一步：将HDFS上已有文件副本数修改为3。
Hadoop 3.x 入门 - 记录躺过的坑
热门推荐
r_aider的博客
04-23 1万+
一、 伪分布式节点启动报错 ./start-dfs.sh Starting namenodes on [10.1.4.57] ERROR: Attempting to operate on hdfs namenode as root ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation. Starting...
Hadoop运行mapreduce实例时,抛出错误 All datanodes are bad. Aborting…
TURING.DT
04-13 4325
Hadoop运行mapreduce实例时,抛出错误 ava.io.IOException: All datanodes xxx.xxx.xxx.xxx:xxx are bad. Aborting… at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.processDatanodeError(DFSClient.java:2158) at
集群运维：All datanodes DatanodeInfoWithStorage[10.21.131.179:50010,DS-6fca3fba-7b13-4855-b483-342df8432e
涤生大数据
12-14 5677
大数据集群运维：all datanodes DatanodeInfoWithStorage[10.21.131.179:50010,DS-6fca3fba-7b13-4855-b483-342df8432e
spark 处理大量数据时报错： ERROR scheduler.LiveListenerBus: Listener EventLoggingListener threw an exception j
大师兄你家猴跑啦的博客
03-14 8252
1、数据处理环境：       spark版本： 2.0.22、数据处理的特征有几千维度，具体报错信息为：18/03/09 23:28:49 ERROR scheduler.LiveListenerBus: Listener EventLoggingListener threw an exception java.io.IOException: All datanodes DatanodeInfo...
hadoop常见错误及解决办法！
p_x1984的专栏
04-07 2554
转： 1：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out Answer： 程序里面需要打开多个文件，进行分析，系统一般默认数量是1024，（用ulimit -a可以看到）对于正常使用是够了，但是对于程序来讲，就太少了。 修改办法： 修改2个文件。        /etc/secu...
[root@spark hadoop-3.4.1]# sbin/start-dfs.sh Starting namenodes on [spark] ERROR: Attempting to operate on hdfs namenode as root ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation. Starting datanodes ERROR: Attempting to operate on hdfs datanode as root ERROR: but there is no HDFS_DATANODE_USER defined. Aborting operation. Starting secondary namenodes [spark] ERROR: Attempting to operate on hdfs secondarynamenode as root ERROR: but there is no HDFS_SECONDARYNAMENODE_USER defined. Aborting operation. 2025-10-10 04:09:58,233 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
最新发布
10-11
在执行 `sbin/start-dfs.sh` 启动 HDFS 时出现“Attempting to operate on hdfs namenode/datanode/secondarynamenode as root but there is no HDFS_*_USER defined”错误，以及“Unable to load native-hadoop ...
大数据学习——Hadoop3.X集群完全分布式的搭建（超详细）
junR_980218的博客
04-02 4140
提示：避雷Hadoop集群搭建的各种坑！ 文章目录前言一、基础环境的下载二、基础环境安装jdk安装与环境配置2.hadoop安装总结 前言 提示：不是小白你别来！ 提示：以下是本篇文章正文内容，下面案例可供参考 一、基础环境的下载 1: 系统环境 Ubuntu18.04 2: jdk1.8.0_321 下载地址 链接：https://pan.baidu.com/s/1hvGmAISZTVRRTVhLOilYrw 提取码：9802 3: hadoop-3.3.0 下载地址 链接：https://pan.
【大数据】hadoop的运行模式（root用户下、尚硅谷Hadoop入门)_hadoop三种运行模式(1)
2401_84170337的博客
04-28 682
done。
hadoop错题本
epitomizelu的专栏
04-02 3237
一，hive的启动失败 可能原因： 1，hive依赖于hadoop集群的启动，如果hadoop集群没有启动，hive启动会失败 2，配置文件错误 hive安装路径下hive-env.sh中的HIVE_CONF_DIR配置错误
Hadoop海量put时出现的socket超时导致put失败解决方案
大数据框架Hadoop学习
05-16 1192
当一个HDFS系统同时处理许多个并行的put操作，往HDFS上传数据 时，有时候会出现dfsclient 端发生socket 链接超时的报错，有的时候甚至会由于这种原因导致最终的put操作失败，造成数据上传不完整。 log类似如下： All datanodes *** are bad. Aborting... 类似这样的错误，常常会在并行的put操作比较多，比如 60-80个，每个put的数...
hive中Could not get block locations.
sheisarainbow的博客
07-15 5439
hive计算时找不到文件 Diagnostic Messages for this Task: Error: java.lang.RuntimeException: Hive Runtime Error while closing operators: java.io.IOException: Could not get block locations. Source file “/user/hive/warehouse/dwd.db/dwd_mpi_patient_info/.hive-staging_h
Hadoop常见问题及解决办法
zyj8170的专栏
11-26 5607
Hadoop常见问题及解决办法
大数据集群常见问题总结
weixin_30673611的博客
02-20 577
　　项目将近尾声，上线一切顺利，在开发过程中遇到了不少的问题，趁着空闲时间对项目中遇到的常见问题做一个总结，当作一个笔记，问题如下： java.io.IOException: Could not obtain block: blk_194219614024901469_1100 file=/user/hive/warehouse/src_20180124_log/src_20180124_l...
Hadoop 文件上传超时原因分析
Royce Wang专栏
06-28 5265
hadoop上传数据问题hadoop上传数据问题2011-06-14 22:07当一个HDFS系统同时处理许多个并行的put操作，往HDFS上传数据时，有时候会出现dfsclient 端发生socket 链接超时的报错，有的时候甚至会由于这种原因导致最终的put操作失败，造成数据上传不完整。log类似如下：All datanodes  *** are bad. Aborti
Spark开发问题集锦1
为一个人走几座城
06-05 2166
19/06/04 11:12:00 WARN DFSClient: Slow ReadProcessor read fields took 41999ms (threshold=30000ms); ack: seqno: 38596 reply: SUCCESS reply: SUCCESS downstreamAckTimeNanos: 18446744031720466026 flag: 0...
重启集群造成块丢失问题org.apache.hadoop.hdfs.CannotObtainBlockLengthException: Cannot obtain block length for L
qq_41018861的博客
06-10 1235
我于2022-06-10执行查询 报错日志 报错分析 报错是在执行hive查询的时候报的，从报错我们可以看出这是一个map reduce阶段读取数据时候报错，是读取文件数据块异常的问题，我们可以理解为数据文件块损坏或丢失问题。 遇到这个问题是因为之前升级HA集群关闭了较长一段时间，前端采集数据使用的是flume，关闭集群导致flume数据到hdfs文件没有正常关闭。因此在造成这个问题。因此我们需要找到没有正常关闭的文件并将他们修复。1、通过命令hdfs fsck /user/hive -openforwr
解决Windows平台Hadoop运行错误：缺失winutils.exe和hadoop.dll
2. Hadoop在Windows平台上的兼容性问题：从描述中可以得知，在Windows平台上运行Hadoop时，可能会遇到缺少hadoop.dll和winutils.exe的问题。这是因为Hadoop最初是为类Unix系统（如Linux、Mac OS等）设计，而没有直接...
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值