Hadoop运行mapreduce实例时,抛出错误 All datanodes xxx.xxx.xxx.xxx:xxx are bad. Aborting…

最新推荐文章于 2022-06-10 15:49:41 发布

dy_252

最新推荐文章于 2022-06-10 15:49:41 发布

阅读量1.5k

点赞数

分类专栏： Hadoop 文章标签： mapreduce hadoop linux

Hadoop 专栏收录该内容

24 篇文章

订阅专栏

本文介绍了在使用Hadoop运行MapReduce任务时遇到的一个常见问题：由于Linux系统中文件句柄数限制导致的所有数据节点不可用错误。文章详细解释了如何通过修改Linux系统的配置文件来增加最大文件句柄数，从而解决这一问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Hadoop运行mapreduce实例时,抛出错误 All datanodes xxx.xxx.xxx.xxx:xxx are bad. Aborting…

java.io.IOException: All datanodes xxx.xxx.xxx.xxx:xxx are bad. Aborting…

at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.processDatanodeError(DFSClient.java:2158)

at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.access$1400(DFSClient.java:1735)

at org.apache.hadoop.dfs.DFSClient$DFSOutputStream$DataStreamer.run(DFSClient.java:1889)

java.io.IOException: Could not get block locations. Aborting…

at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.processDatanodeError(DFSClient.java:2143)

at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.access$1400(DFSClient.java:1735)

at org.apache.hadoop.dfs.DFSClient$DFSOutputStream$DataStreamer.run(DFSClient.java:1889)

经查明，问题原因是linux机器打开了过多的文件导致。

用命令ulimit -n可以发现linux默认的文件打开数目为1024

修改/ect/security/limit.conf，增加hadoop soft 65535
再重新运行程序（最好所有的datanode都修改），问题解决