hadoop MR 任务 报错 "Error: java.io.IOException: Premature EOF from inputStream at org.apache.hadoop.io"

最新推荐文章于 2024-09-25 11:28:31 发布
原创 最新推荐文章于 2024-09-25 11:28:31 发布 · 3.1w 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop #EOF #datanode #hdfs

本文分析了Hadoop MapReduce任务中遇到的文件操作超租期错误，解释了其原因并提供了修改配置参数的解决方案。讨论了可能的数据丢失问题及其与网络异常的关系。
部署运行你感兴趣的模型镜像

错误原文分析

文件操作超租期，实际上就是data stream操作过程中文件被删掉了。通常是因为Mapred多个task操作同一个文件，一个task完成后删掉文件导致。这个错误跟dfs.datanode.max.transfer.threads参数到达上限有关。这个是datanode同时处理请求的任务上限，总默认值是 4096，该参数取值范围[1 to 8192]

hadoop docs hdfs-site.xml

dfs.datanode.max.transfer.threads   4096    
Specifies the maximum number of threads to use for transferring data in and out of the DN.

解决方案

  1. 修改$HADOOP_HOME/etc/hadoop/hdfs-site.xml, 增加如下内容:
    <property>
    <name>dfs.datanode.max.transfer.threads</name>
    <value>8192</value>
    </property>

    重启hadoop 集群datanode
  2. 重新运行MR任务,跟同事讨论过此问题,我们认为可能是这个MR前置任务各种网络问题&异常导致数据丢失,最终导致 输入数据不完整

参考链接

http://blog.youkuaiyun.com/zhoujj303030/article/details/44422415
https://issues.apache.org/jira/browse/HDFS-4723
http://permalink.gmane.org/gmane.comp.jakarta.lucene.hadoop.user/53521

您可能感兴趣的与本文相关的镜像

Kotaemon

Kotaemon

AI应用

Kotaemon 是由Cinnamon 开发的开源项目，是一个RAG UI页面,主要面向DocQA的终端用户和构建自己RAG pipeline

启动hdfs报java.io.IOException: Premature EOF from inputStream错误
萌兔兔MMQ！！
04-16 1418
缘由：新集群（cdh）搭建好，打算测试一下新集群的hdfs性能，因而使用hdfs自带的测试 hadoop-test-2.6.0-mr1-cdh5.6.1.jar,计划产生10T的数据量进行测试，hadoop jar hadoop-test-2.6.0-mr1-cdh5.6.1.jar TestDFSIO -write -nrFiles 10 -fileSize 10000000 -resFile /tmp/TestDFSIO_results.log；java 因为时间问题，在数据量产生到2T多的时候，集群机
解决 Error: java.io.EOFException: Premature EOF from inputStream 问题
weixin_52918377的博客
11-18 2158
解决 Error: java.io.EOFException: Premature EOF from inputStream 问题 一、问题 1.问题过程 在日志解析任务过程中，突发报错，任务一直都很稳定，怎么回突然报错了呢？心头一紧 2.详细错误类型： 查看日志发现如下错误 21/11/18 14:36:29 INFO mapreduce.Job: Task Id : attempt_1628497295151_1290365_m_000002_2, Status : FAILED Error: java
hadoop MR 任务 报错 "Error: java.io.IOException: Premature EOF from inputStream at org.apache.hadoop.io"...
weixin_30666401的博客
08-17 503
错误原文分析 文件操作超租期，实际上就是data stream操作过程中文件被删掉了。通常是因为Mapred多个task操作同一个文件，一个task完成后删掉文件导致。这个错误跟dfs.datanode.max.transfer.threads参数到达上限有关。这个是datanode同时处理请求的任务上限，总默认值是 4096，该参数取值范围[1 to 8192] hado...
hadoop 日志错误 java.io.IOException: Premature EOF from inputStream
热门推荐
zhoujj303030的专栏
03-18 2万+
hadoop 日志错误： 2015-03-17 11:24:25,467 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: d135.hadoop:50010:DataXceiver error processing WRITE_BLOCK operation  src: /192.168.1.118:64599 dst: /192.
hadoop MR 任务 报错 "Error: java.io.IOException: Premature EOF from inputStream at org.apache.hadoo...
aodiyi6351的博客
05-30 238
错误原文分析 文件操作超租期，实际上就是data stream操作过程中文件被删掉了。一般是由于Mapred多个task操作同一个文件。一个task完毕后删掉文件导致。这个错误跟dfs.datanode.max.transfer.threads參数到达上限有关。这个是datanode同一时候处理请求的任务上限，总默认值是 4096，该參数取值范围[1 to 8192...
java.io.IOException: Premature EOF from inputStream HDFS文件损坏修复方法
m0_61345454的博客
07-03 796
注：在正常的NameNode服务器上执行，连接已经停止的NameNode报错正常，可以继续下面操作。将active节点的image文件全部拷贝到故障节点的相应目录下（目录和节点名称根据实际情况修改）2、刷新active namenode的log到fsimage。3、在hdfs配置中搜索"dfs.name.dir"4、重启故障namenode离开安全模式。在故障namenode节点执行以下操作。
HDFS standbyNameNode Java.io.IOException:Premature EOF from inputStream[运维必备]
JINGXI的博客
10-18 1046
1、报错 Java.io.IOException:Premature EOF from inputStream 可以看到是重演编辑日志时候出错了 2、hadoop元数据目录 Edits_ 编辑日志 Fsimage_ 通过编辑日志合并而来的 Edits_inprogress 正在往里写的编辑日志 Seen_txid ...
Hive：cause:java.io.IOException: java.io.EOFException: Unexpected end of input stream
大数据知识梳理
07-21 552
Hive：cause:java.io.IOException: java.io.EOFException: Unexpected end of input stream 原因基本上有： 空文件 不完整的文件 gz格式压缩的有问题 文件没有正确结束，例如.gz 文件数据有问题
datanode报错：java.io.IOException:Premature EOF from inputStream
ClearloveXXX的博客
11-22 4289
HDSF datanode报错如下：   原因：文件操作超租期，实际上就是data stream操作过程中文件被删除了，通常是因为Mapred多个task操作同一个文件，一个task完成后删掉文件导致。这个错误跟dfs.datanode.max.transfer.threads参数到达上限有关。这个是datanode同时处理请求的任务上限，总默认值是4096，该参数取值范围[1to8192...
java.io.EOFException: Premature EOF
weixin_41634885的博客
01-28 3526
测试使用jemeter进行压测 几分钟后部分接口出现报错：java.io.EOFException: Premature EOF 经过一番查询 这篇博客给了很大启发 一次接口报错java.io.EOFException: Premature EOF的排查经过[问题已解决]_西城月老的博客-优快云博客 原因就是 接口的返回体超过了设置的 proxy_temp_file_write_size 因此会自己创建temp临时文件夹 但是所属权限为nobody 造成访问时无权限 单纯的修改ngi.
hdfs-DataNode报错:java.io.IOException: Premature EOF from inputStream
毛毛的博客
07-02 2669
hdfs-DataNode报错:java.io.IOException: Premature EOF from inputStream 在往hbase中写数据时候，hdfs报错，导致hbase中的RegionServer挂掉了，hbase节点没有报错信息，查看hdfs报错 vim /var/log/hadoop-hdfs/hadoop-cmf-hdfs-DATANODE-slave0*.log.out 2021-07-02 15:38:24,053 INFO org.apache.hadoop.hdfs
hive报lzo Premature EOF from inputStream错误
快乐程序员的专栏
11-18 7096
今天dw组同事发邮件说有一个问题让帮解决一下，他们自己没能搞得定，以下问题解决过程：
java io报错_spark 执行报错 java.io.EOFException: Premature EOF from inputStream
weixin_36284062的博客
02-16 580
java.io.EOFException: Premature EOF from inputStreamat com.hadoop.compression.lzo.LzopInputStream.readFully(LzopInputStream.java:74)at com.hadoop.compression.lzo.LzopInputStream.readHeader(LzopInputSt...
Java大数据平台开发 学习笔记（74） —— Hive 报 LZO Premature EOF from inputStream 错误
qq_42209354的博客
03-08 534
1、问题描述： 今天例行的任务报 Premature EOF from inputStream 的错误 Task with the most failures(4): ----- Task ID: task_1615190392211_0031_m_000231 URL: http://hadoop02:8088/taskdetails.jsp?jobid=job_1615190392211_0031&tipid=task_1615190392211_0031_m_000231 ----
hdfs 报错Java eof,hadoop 日志错误 java.io.IOException: Premature EOF from inputStream
weixin_42116650的博客
03-13 364
hadoop 日志错误：2015-03-17 11:24:25,467 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: d135.hadoop:50010:DataXceivererror processing WRITE_BLOCK operation src: /192.168.1.118:64599 dst: /192.168....
java io持久化_关于IO的问题，为什么结束了将持久化对象保存到数据库最后关掉了inputstream会导致错误。...
weixin_35859737的博客
02-27 294
publicvoidtestSavePicture(){SimpleDateFormatsdf=newSimpleDateFormat("yyyy-MM-dd");Datedate;try{date=sdf.parse("1987-04-01");Students=newStudent(0,"kula",date);Filefile=newFile("/U...
java.io.IOException: Premature EOF报错解决方案
jackspook的博客
09-25 2676
java.io.IOException: Premature EOF报错的解决方案
Error: java.lang.ClassCastException: org.apache.hadoop.io.IntWritable cannot be cast to org.apache.hadoop.io.Tex
最新发布
11-22
`java.lang.ClassCastException: org.apache.hadoop.io.IntWritable cannot be cast to org.apache.hadoop.io.Text` 异常表明在代码里尝试把 `org.apache.hadoop.io.IntWritable` 对象转换为 `org.apache.hadoop.io.Text` 对象，而这两种类型不兼容，无法直接转换。以下是一些可行的解决方法： #### 1. 检查数据类型 要保证在 MapReduce 作业里，键和值的数据类型在整个流程中保持一致。例如，在 Mapper、Reducer 和 Job 配置中，确保输出的键和值的数据类型匹配。 ```java import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.Reducer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; import java.io.IOException; // Mapper 类 public class MyMapper extends Mapper<Object, Text, Text, IntWritable> { private final static IntWritable one = new IntWritable(1); private Text word = new Text(); public void map(Object key, Text value, Context context) throws IOException, InterruptedException { // 处理逻辑 context.write(word, one); } } // Reducer 类 public class MyReducer extends Reducer<Text, IntWritable, Text, IntWritable> { private IntWritable result = new IntWritable(); public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException { int sum = 0; for (IntWritable val : values) { sum += val.get(); } result.set(sum); context.write(key, result); } } // 主类 public class WordCount { public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); Job job = Job.getInstance(conf, "word count"); job.setJarByClass(WordCount.class); job.setMapperClass(MyMapper.class); job.setCombinerClass(MyReducer.class); job.setReducerClass(MyReducer.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); FileInputFormat.addInputPath(job, new Path(args[0])); FileOutputFormat.setOutputPath(job, new Path(args[1])); System.exit(job.waitForCompletion(true) ? 0 : 1); } } ``` #### 2. 数据转换 要是确实需要把 `IntWritable` 转换为 `Text`，可以通过 `toString()` 方法来实现。 ```java import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; public class ConvertExample { public static void main(String[] args) { IntWritable intWritable = new IntWritable(10); Text text = new Text(intWritable.toString()); System.out.println(text.toString()); } } ``` #### 3. 调试代码 使用日志输出或者调试工具，检查代码里进行类型转换的具体位置，保证类型转换逻辑正确。 ```java import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Mapper; import java.io.IOException; public class DebugMapper extends Mapper<Object, Text, Text, IntWritable> { private final static IntWritable one = new IntWritable(1); private Text word = new Text(); public void map(Object key, Text value, Context context) throws IOException, InterruptedException { // 调试输出 System.out.println("Input value: " + value.toString()); context.write(word, one); } } ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值