hadoop M/R 运行错误

最新推荐文章于 2025-03-02 18:59:54 发布
最新推荐文章于 2025-03-02 18:59:54 发布
阅读量1.4k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 云计算 文章标签： hadoop exception
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/morning_pig/article/details/7546835
本文记录了在使用Hadoop进行文件写入操作时遇到的EOFException和IOException问题，包括详细的错误日志及解决方法，指出应避免使用root用户执行Hadoop任务。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

2012-05-08 15:29:02,927 WARN org.apache.hadoop.hdfs.DFSClient: DFSOutputStream ResponseProcessor exception for block blk_-3688559193353374185_253276java.io.EOFExceptionat java.io.DataInputStream.readFully(DataInputStream.java:180)at java.io.DataInputStream.readLong(DataInputStream.java:399)at org.apache.hadoop.hdfs.protocol.DataTransferProtocol$PipelineAck.readFields(DataTransferProtocol.java:120)at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream$ResponseProcessor.run(DFSClient.java:2956)2012-05-08 15:29:02,927 WARN org.apache.hadoop.hdfs.DFSClient: DataStreamer Exception: java.io.IOException: Connection reset by peerat sun.nio.ch.FileDispatcher.write0(Native Method)at sun.nio.ch.SocketDispatcher.write(SocketDispatcher.java:29)at sun.nio.ch.IOUtil.writeFromNativeBuffer(IOUtil.java:72)at sun.nio.ch.IOUtil.write(IOUtil.java:43)at sun.nio.ch.SocketChannelImpl.write(SocketChannelImpl.java:334)at org.apache.hadoop.net.SocketOutputStream$Writer.performIO(SocketOutputStream.java:55)at org.apache.hadoop.net.SocketIOWithTimeout.doIO(SocketIOWithTimeout.java:142)at org.apache.hadoop.net.SocketOutputStream.write(SocketOutputStream.java:146)at org.apache.hadoop.net.SocketOutputStream.write(SocketOutputStream.java:107)at java.io.BufferedOutputStream.write(BufferedOutputStream.java:105)at java.io.DataOutputStream.write(DataOutputStream.java:90)at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream$DataStreamer.run(DFSClient.java:2848)2012-05-08 15:29:02,927 INFO org.apache.hadoop.hdfs.DFSClient: Error Recovery for block blk_-3688559193353374185_253276 waiting for responder to exit. 2012-05-08 15:29:02,927 WARN org.apache.hadoop.hdfs.DFSClient: Error Recovery for block blk_-3688559193353374185_253276 bad datanode[0] x.x.x.x:500102012-05-08 15:29:02,928 WARN org.apache.hadoop.hdfs.DFSClient: Error Recovery for block blk_-3688559193353374185_253276 in pipeline x.x.x.x:50010, x.x.x.x:50010: bad datanode x.x.x.x:500102012-05-08 15:29:02,975 WARN org.apache.hadoop.hdfs.DFSClient: DataStreamer Exception: java.io.IOException: Broken pipeat sun.nio.ch.FileDispatcher.write0(Native Method)at sun.nio.ch.SocketDispatcher.write(SocketDispatcher.java:29)at sun.nio.ch.IOUtil.writeFromNativeBuffer(IOUtil.java:72)at sun.nio.ch.IOUtil.write(IOUtil.java:43)at sun.nio.ch.SocketChannelImpl.write(SocketChannelImpl.java:334)at org.apache.hadoop.net.SocketOutputStream$Writer.performIO(SocketOutputStream.java:55)at org.apache.hadoop.net.SocketIOWithTimeout.doIO(SocketIOWithTimeout.java:142)at org.apache.hadoop.net.SocketOutputStream.write(SocketOutputStream.java:146)at org.apache.hadoop.net.SocketOutputStream.write(SocketOutputStream.java:107)at java.io.BufferedOutputStream.write(BufferedOutputStream.java:105)at java.io.DataOutputStream.write(DataOutputStream.java:90)at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream$DataStreamer.run(DFSClient.java:2848)2012-05-08 15:29:02,975 WARN org.apache.hadoop.hdfs.DFSClient: DFSOutputStream ResponseProcessor exception for block blk_-3688559193353374185_253277java.io.IOException: Connection reset by peerat sun.nio.ch.FileDispatcher.read0(Native Method)at sun.nio.ch.SocketDispatcher.read(SocketDispatcher.java:21)at sun.nio.ch.IOUtil.readIntoNativeBuffer(IOUtil.java:202)at sun.nio.ch.IOUtil.read(IOUtil.java:175)at sun.nio.ch.SocketChannelImpl.read(SocketChannelImpl.java:243)at org.apache.hadoop.net.SocketInputStream$Reader.performIO(SocketInputStream.java:55)at org.apache.hadoop.net.SocketIOWithTimeout.doIO(SocketIOWithTimeout.java:142)at org.apache.hadoop.net.SocketInputStream.read(SocketInputStream.java:155)at org.apache.hadoop.net.SocketInputStream.read(SocketInputStream.java:128)at java.io.DataInputStream.readFully(DataInputStream.java:178)at java.io.DataInputStream.readLong(DataInputStream.java:399)at org.apache.hadoop.hdfs.protocol.DataTransferProtocol$PipelineAck.readFields(DataTransferProtocol.java:120)at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream$ResponseProcessor.run(DFSClient.java:2956)2012-05-08 15:29:02,975 INFO org.apache.hadoop.hdfs.DFSClient: Error Recovery for block blk_-3688559193353374185_253277 waiting for responder to exit. 2012-05-08 15:29:02,976 WARN org.apache.hadoop.hdfs.DFSClient: Error Recovery for block blk_-3688559193353374185_253277 bad datanode[0] x.x.x.x:500102012-05-08 15:29:02,979 INFO org.apache.hadoop.mapred.TaskLogsTruncater: Initializing logs' truncater with mapRetainSize=-1 and reduceRetainSize=-12012-05-08 15:29:02,981 ERROR org.apache.hadoop.security.UserGroupInformation: PriviledgedActionException as:root (auth:SIMPLE) cause:java.io.IOException: All datanodes x.x.x.x:50010 are bad. Aborting...2012-05-08 15:29:02,982 WARN org.apache.hadoop.mapred.Child: Error running childjava.io.IOException: All datanodes x.x.x.x:50010 are bad. Aborting...at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.processDatanodeError(DFSClient.java:3088)at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.access$1900(DFSClient.java:2627)at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream$DataStreamer.run(DFSClient.java:2799)2012-05-08 15:29:02,984 INFO org.apache.hadoop.mapred.Task: Runnning cleanup for the task




解决办法：使用hadoop用户执行Job，不要使用root用户。

源码解析HDFS文件上传之write上传过程-尚硅谷Java培训
zjjcchina的博客
07-26 280
/接收到notify消息。//步骤二启动ResponseProcessor用来监听packet发送是否成功。//步骤三从dataQueue把要发送的这个packet移除出去。//步骤二启动ResponseProcessor用来监听packet发送是否成功。//步骤三从dataQueue把要发送的这个packet移除出去。//如果dataQueue里面没有数据，代码会阻塞在这儿。//记录写入packet中的chunk个数，累计到127个chuck，这个packet就满了。...
reduce端缓存数据过多出现FGC，导致reduce生成的数据无法写到hdfs
快乐程序员的专栏
12-04 6806
reduce端缓存数据过多出现FGC，导致reduce生成的数据无法写到hdfs：搜索推荐有一个job，1000多个map，200个reduce，运行到最后只剩一个reduce（10.39.6.130上）的时候，出现以下异常，导致job失败。
MapReduce运行任务报错
Make progress step by step everyday.....
08-03 4836
MapReduce运行任务报错如下： Error: java.io.IOException: Failing write.  Tried pipeline recovery 5 times without success.  at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.processDatanodeError(DF
在Linux下的hdfs客户端编写,写操作(客户端) - HDFS的文件操作流_服务器应用_Linux公社-Linux系统门户网站...
weixin_39935257的博客
05-13 242
在前面的博文中我主要从客户端的角度讲述了HDFS文件写操作的工作流程，但是关于客户端是如何把数据块传送到数据节点，同时数据节点又是如何来接受来自客户端的数据块呢？这就是本文将要讨论的。上一次在DataStreamer线程，那么现在我们就来具体的看看客户端是如何传输数据的。先来看看底层文件写入流DFSOutputSream的核心代码：/*** @param b 要写入文...
hadoop中的一次集群任务执行超时问题查找过程
weixin_30292843的博客
09-28 320
问题背景 本次进行一个项目的重构，在某些活动数据量比较大的情况下，会偶尔出现1200s超时的情况，如下： AttemptID:attempt_1410771599055_11709_m_000033_0 Timed out after 1200 secs 而hadoop会不断启动备份任务进行重试，重试也许成功，但失败的概率还是比较大： 经过分析，had...
flume开启监听报错：Info: Sourcing environment configuration script /export/servers/flume-1.9.0/conf/flume-env.sh Info: Including Hadoop libraries found via (/export/servers/hadoop-3.3.0/bin/hadoop) for HDFS access Info: Including Hive libraries found via (/export/servers/hive-3.1.3) for Hive access + exec /export/servers/jdk1.8.0_241/bin/java -Xmx20m -cp '/export/servers/flume-1.9.0/conf:/export/servers/flume-1.9.0/lib/*:/export/servers/hadoop-3.3.0/etc/hadoop:/export/servers/hadoop-3.3.0/share/hadoop/common/lib/*:/export/servers/hadoop-3.3.0/share/hadoop/common/*:/export/servers/hadoop-3.3.0/share/hadoop/hdfs:/export/servers/hadoop-3.3.0/share/hadoop/hdfs/lib/*:/export/servers/hadoop-3.3.0/share/hadoop/hdfs/*:/export/servers/hadoop-3.3.0/share/hadoop/mapreduce/*:/export/servers/hadoop-3.3.0/share/hadoop/yarn:/export/servers/hadoop-3.3.0/share/hadoop/yarn/lib/*:/export/servers/hadoop-3.3.0/share/hadoop/yarn/*:/export/servers/hive-3.1.3/lib/*' -Djava.library.path=:/export/servers/hadoop-3.3.0/lib/native org.apache.flume.node.Application --name a1 -f basic.conf - Dflume.root.logger=INFO,console
06-17
运行Flume命令并捕获详细日志在启动命令中添加更多的日志输出（例如改为DEBUG级别）：```bashflume-ngagent-c$FLUME_HOME/conf-f$FLUME_HOME/jobs/gmall/logserver-flume-kafka.conf-na1-Dflume.root.logger=DEBUG,...
[root@hadoop02 ~]# flume-ng agent --name a1 --conf conf/ --conf-file conf/avro-logger1.conf -Dflume.root.logger=INFO,console Info: Including Hadoop libraries found via (/opt/programs/hadoop/bin/hadoop) for HDFS access Info: Including Hive libraries found via (/opt/programs/hive) for Hive access + exec /opt/programs/jdk/bin/java -Xmx20m -Dflume.root.logger=INFO,console -cp 'conf/:/opt/programs/flume/lib/*:/opt/programs/hadoop/etc/hadoop:/opt/programs/hadoop/share/hadoop/common/lib/*:/opt/programs/hadoop/share/hadoop/common/*:/opt/programs/hadoop/share/hadoop/hdfs:/opt/programs/hadoop/share/hadoop/hdfs/lib/*:/opt/programs/hadoop/share/hadoop/hdfs/*:/opt/programs/hadoop/share/hadoop/mapreduce/lib/*:/opt/programs/hadoop/share/hadoop/mapreduce/*:/opt/programs/hadoop/share/hadoop/yarn:/opt/programs/hadoop/share/hadoop/yarn/lib/*:/opt/programs/hadoop/share/hadoop/yarn/*:/opt/programs/hive/lib/*' -Djava.library.path=:/opt/programs/hadoop/lib/native org.apache.flume.node.Application --name a1 --conf-file conf/avro-logger1.conf SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/opt/programs/flume/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: Found binding in [jar:file:/opt/programs/hadoop/share/hadoop/common/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: Found binding in [jar:file:/opt/programs/hive/lib/log4j-slf4j-impl-2.17.1.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation. SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory] 2025-07-05 02:07:25,550 ERROR node.Application: A fatal error occurred while running. Exception follows. org.apache.commons.cli.ParseException: The specified configuration file does not exist: /root/conf/avro-logger1.conf at org.apache.flume.node.Application.main(Application.java:342)
最新发布
07-06
- **文件权限问题**：确保运行Flume的用户有读取权限 ```bash chmod +r /path/to/flume-conf.properties ``` - **配置文件未生成**：手动创建配置文件（如`touch flume-conf.properties`）并填充配置内容 ####...
hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar teragen -Dmapreduce.job.maps=110 30m /data/test/teragen
03-11
hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar teragen -Dmapreduce.job.maps=110 30m /data/test/teragen 我的任务是用中文解释这个命令的各个部分，并确保符合用户提供的格式...
保姆级教程教你如何安装Hadoop，实现Hadoop单机（非分布式）配置
m0_74825093的博客
03-02 1018
Hadoop 可以在单节点上以伪分布式的方式运行，Hadoop 进程以分离的 Java 进程来运行，节点既作为 NameNode 也作为 DataNode，同时，读取的是 HDFS 中的文件。运行例子：将 input 文件夹中的所有文件作为输入，筛选当中符合正则表达式 dfs[a-z.]+ 的单词并统计出现的次数，最后输出结果到 output 文件夹中。重新加载，等待加载完成，若加载失败，选择其他中国服务器，再进行加载。点击VM上边的编辑，选择虚拟网络编辑器，点击右下角的。
[magic@hadoop102 hadoop]$ sudo chown -R magic:hadoop /opt/module/hadoop/logs chown: 无效的组: "magic:hadoop"
06-13
附加建议：配置Hadoop以特定用户运行在Hadoop的启动脚本中（如sbin/start-dfs.sh,sbin/stop-dfs.sh）开头添加：```bashexportHDFS_NAMENODE_USER=magicexportHDFS_DATANODE_USER=magicexportHDFS_SECONDARYNAMENODE_...
hbase集群写不进去数据的问题追踪过程
weixin_34247032的博客
06-09 278
hbase从集群中有8台regionserver服务器，已稳定运行了5个多月，8月15号，发现集群中4个datanode进程死了，经查原因是内存 outofMemory了(因为这几台机器上部署了spark，给spark开的-Xmx是32g)，然后对从集群进行了恢复并进行了补数据，写负载比较 重，又运行了几天，发现从集群写不进去数据了①、regionserver端 ...
Spark疑难杂症排查-Premature EOF: no length prefix available
探索大数据世界 - 深入解析数据存储、分布式计算与人工智能
07-22 3395
Spark疑难杂症排查-Premature EOF: no length prefix available
org.apache.hadoop.hdfs.DFSClient: Error Recovery for null bad datanode[0] nodes == null问题可能出现的原因
luoluowushengmimi的专栏
01-22 2598
2014年-1-22日遇到了这个问题： 2014-01-22 14:36:18,346 WARN org.apache.hadoop.hdfs.DFSClient: Error Recovery for null bad datanode[0] nodes == null 2014-01-22 14:36:18,346 WARN org.apache.hadoop.hdfs.DFSClient
向HDFS上传文件时报错16/07/23 01:13:30 WARN hdfs.DFSClient: DataStreamer Exception: org.apache.hadoop.ipc.Rem
机器学习菜鸟
07-23 8111
16/07/23 01:13:30 WARN hdfs.DFSClient: DataStreamer Exception: org.apache.hadoop.ipc.RemoteException: java.io.IOException: File /test.txt could only be replicated to 0 nodes, instead of 1         at
Java之DataStream读取写入文件
DJun的博客
06-05 2057
DataInputStream继承于FilterInputStream装饰其它输入流，它“允许应用程序以与机器无关方式从底层输入流中读取基本 Java 数据类型”。 DataOutputStream将内存里的东西序列化，可以不经过转码，也可以将对象写入文件。 总共有哪些方法还是建议看一下JDK对应版本的API。 import java.io.*; public class TestDat...
HDFS 删除大量文件后不可访问问题处理
群演老何，代码为生
04-30 6346
一、问题现象                 由于前一段时间ORC delta文件合并失败，HDFS中存在了大量delta文件，最终导致访问该数据表失败。通过想办法把数据搬移到新表后，我们drop掉了这个旧表。没想到一会儿使用人员报告整个HDFS不可访问。         简单重启HDFS后，系统恢复正常了。但一个小时后，整个HDFS又不正常了。 二、问题查找               ...
HDFS的文件操作流(3)——写操作(客户端)
xhh198781的专栏
11-15 4185
在前面的博文中我主要从客户端的角度讲述了HDFS文件写操作的工作流程，但是关于客户端是如何把数据块传送到数据节点，同时数据节点又是如何来接受来自客户端的数据块呢？这就是本文将要讨论的。     在客户端负责数据写入处理的核心类是DFSOutputStream，它的内部主要有数据包发送器DataStream、数据包确认处理器ResponseProcessor和数据包封装器Packet，其整体设计架
hadoop java 读写入文件_java-Hadoop 2.5.0无法远程写入文件
weixin_39905037的博客
02-23 414
在远程使用Hadoop Java API将文件放入HDFS 2.5.0 Single Node Hadoop Docker Container时遇到问题.在Hadoop系统上运行时,我可以将本地文件复制到hdfs中而没有问题.但是,在尝试将数据放入文件时,远程出现了问题.我得到以下异常：Exception in thread "main" org.apache.hadoop.ipc.RemoteE...
2021-12-23 hadoop3 写数据流程（三）：DataStreamer
cn987654的博客
12-23 1826
1 概述 见名知意，此类主要用于数据传输，是一个守护线程，在创建DFSOutputStream的过程中被启动，启动之后再run方法之中使用一个while死循环（直到流或者客户端关闭）才停止运行，里面主要的逻辑是通过维护一个dataQueue队列，等待主线程往其中添加packet数据，等到添加了packet数据之后，会触发数据的发送，将数据发送到对应pipeline对应的dn之中，从而完成数据的传输。 2 源码分析 2.1 DataStreamer的前提调用 根据前文，在DFSOutputStream
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值