hadoop MR 任务 报错 "Error: java.io.IOException: Premature EOF from inputStream at org.apache.hadoo...

最新推荐文章于 2024-09-25 11:28:31 发布
转载 最新推荐文章于 2024-09-25 11:28:31 发布 · 244 阅读 · 0
文章标签：

#java #数据库 #大数据

本文探讨了Hadoop中因文件操作超租期引发的问题，分析了原因，并提供了调整dfs.datanode.max.transfer.threads参数的具体步骤来解决该问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

错误原文分析

文件操作超租期，实际上就是data stream操作过程中文件被删掉了。一般是由于Mapred多个task操作同一个文件。一个task完毕后删掉文件导致。

这个错误跟dfs.datanode.max.transfer.threads參数到达上限有关。这个是datanode同一时候处理请求的任务上限，总默认值是 4096，该參数取值范围[1 to 8192]

hadoop docs hdfs-site.xml

dfs.datanode.max.transfer.threads   4096    
Specifies the maximum number of threads to use for transferring data in and out of the DN.

解决方式

  1. 改动$HADOOP_HOME/etc/hadoop/hdfs-site.xml, 添加例如以下内容:
    <property>
    <name>dfs.datanode.max.transfer.threads</name>
    <value>8192</value>
    </property>

    重新启动hadoop 集群datanode
  2. 又一次执行MR任务,跟同事讨论过此问题,我们觉得可能是这个MR前置任务各种网络问题&异常导致数据丢失,终于导致 输入数据不完整

參考链接

http://blog.youkuaiyun.com/zhoujj303030/article/details/44422415
https://issues.apache.org/jira/browse/HDFS-4723
http://permalink.gmane.org/gmane.comp.jakarta.lucene.hadoop.user/53521

读取集群中HDFS上的文件报错Error: java.io.IOException: Filesystem closed at org.apache.hadoop.hdfs.DFSCl
QYHuiiQ
06-07 1050
在MapReduce中读取HDFS上的文件时报错： 这是因为每个datanode使用的是同一个Configuration对象，节点在访问文件系统时会根据Configuration对象创建一个FileSystem实例（我的自定义Mapper中的代码）：创建的这个实例默认会存在缓存中（由于下图中的源码），所以每个节点来读取时使用的就是同一个实例，这样如果一个节点读完了文件，然后关闭流，下一个节点来读取时就会报错。 而如果我们不添加配置禁用缓存，那么默认是false：所以需要对Configuration对象添
sqoop报错：Error: java.io.IOException: SQLException in nextKeyValue
xxl0769的博客
12-22 1134
Error: java.io.IOException: SQLException in nextKeyValue at org.apache.sqoop.mapreduce.db.DBRecordReader.nextKeyValue(DBRecordReader.java:277) at org.apache.hadoop.mapred.MapTask$NewTrackingRecordReader.nextKeyValue(MapTask.java:568) at org.apache.hadoop.m
HDFS standbyNameNode Java.io.IOException:Premature EOF from inputStream[运维必备]
JINGXI的博客
10-18 1022
1、报错 Java.io.IOException:Premature EOF from inputStream 可以看到是重演编辑日志时候出错了 2、hadoop元数据目录 Edits_ 编辑日志 Fsimage_ 通过编辑日志合并而来的 Edits_inprogress 正在往里写的编辑日志 Seen_txid ...
hadoop 日志错误 java.io.IOException: Premature EOF from inputStream
热门推荐
zhoujj303030的专栏
03-18 2万+
hadoop 日志错误： 2015-03-17 11:24:25,467 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: d135.hadoop:50010:DataXceiver error processing WRITE_BLOCK operation  src: /192.168.1.118:64599 dst: /192.
datanode报错：java.io.IOException:Premature EOF from inputStream
ClearloveXXX的博客
11-22 4249
HDSF datanode报错如下：   原因：文件操作超租期，实际上就是data stream操作过程中文件被删除了，通常是因为Mapred多个task操作同一个文件，一个task完成后删掉文件导致。这个错误跟dfs.datanode.max.transfer.threads参数到达上限有关。这个是datanode同时处理请求的任务上限，总默认值是4096，该参数取值范围[1to8192...
java.io.IOException: Premature EOF from inputStream HDFS文件损坏修复方法
m0_61345454的博客
07-03 757
注：在正常的NameNode服务器上执行，连接已经停止的NameNode报错正常，可以继续下面操作。将active节点的image文件全部拷贝到故障节点的相应目录下（目录和节点名称根据实际情况修改）2、刷新active namenode的log到fsimage。3、在hdfs配置中搜索"dfs.name.dir"4、重启故障namenode离开安全模式。在故障namenode节点执行以下操作。
启动hdfs报java.io.IOException: Premature EOF from inputStream错误
萌兔兔MMQ！！
04-16 1384
缘由：新集群（cdh）搭建好，打算测试一下新集群的hdfs性能，因而使用hdfs自带的测试 hadoop-test-2.6.0-mr1-cdh5.6.1.jar,计划产生10T的数据量进行测试，hadoop jar hadoop-test-2.6.0-mr1-cdh5.6.1.jar TestDFSIO -write -nrFiles 10 -fileSize 10000000 -resFile /tmp/TestDFSIO_results.log；java 因为时间问题，在数据量产生到2T多的时候，集群机
解决 Error: java.io.EOFException: Premature EOF from inputStream 问题
weixin_52918377的博客
11-18 2110
解决 Error: java.io.EOFException: Premature EOF from inputStream 问题 一、问题 1.问题过程 在日志解析任务过程中，突发报错，任务一直都很稳定，怎么回突然报错了呢？心头一紧 2.详细错误类型： 查看日志发现如下错误 21/11/18 14:36:29 INFO mapreduce.Job: Task Id : attempt_1628497295151_1290365_m_000002_2, Status : FAILED Error: java
java io报错_spark 执行报错 java.io.EOFException: Premature EOF from inputStream
weixin_36284062的博客
02-16 559
java.io.EOFException: Premature EOF from inputStreamat com.hadoop.compression.lzo.LzopInputStream.readFully(LzopInputStream.java:74)at com.hadoop.compression.lzo.LzopInputStream.readHeader(LzopInputSt...
Java大数据平台开发 学习笔记（74） —— Hive 报 LZO Premature EOF from inputStream 错误
qq_42209354的博客
03-08 514
1、问题描述： 今天例行的任务报 Premature EOF from inputStream 的错误 Task with the most failures(4): ----- Task ID: task_1615190392211_0031_m_000231 URL: http://hadoop02:8088/taskdetails.jsp?jobid=job_1615190392211_0031&tipid=task_1615190392211_0031_m_000231 ----
java.io.IOException: Premature EOF报错解决方案
最新发布
jackspook的博客
09-25 2329
java.io.IOException: Premature EOF报错的解决方案
hdfs-DataNode报错:java.io.IOException: Premature EOF from inputStream
毛毛的博客
07-02 2623
hdfs-DataNode报错:java.io.IOException: Premature EOF from inputStream 在往hbase中写数据时候，hdfs报错，导致hbase中的RegionServer挂掉了，hbase节点没有报错信息，查看hdfs报错 vim /var/log/hadoop-hdfs/hadoop-cmf-hdfs-DATANODE-slave0*.log.out 2021-07-02 15:38:24,053 INFO org.apache.hadoop.hdfs
使用WebCollector遇到的异常—java.io.IOException: Premature EOF
蜗牛背着那重重的壳呀，一步一步地往上爬.......
01-05 6299
异常表达： java.io.IOException: Premature EOF at sun.net.www.http.ChunkedInputStream.fastRead at...... ....原因： 1.运行时网络情况差 ——过段时间再次运行，看看是否有改善 2.crawler.setThreads(50);参数设置成50 太小了改成5000试试，在你的url很多的时候，这个地方也
java.io.IOException: Premature EOF
EricXiao666的博客
10-08 1万+
今天使用java发送http请求时很长时间没有得到响应信息，之后出现以下错误信息： java.io.IOException: Premature EOF 原因分析：因为您正在逐行读取内容，而对于最后一行，文件可能缺少返回值以表示行结束，即http请求访问的第三方接口没有发送http协议需要的结束行。 解决方法： 相关代码如下： StringBuffer sb = new Str...
hadoop MR 任务 报错 "Error: java.io.IOException: Premature EOF from inputStream at org.apache.hadoop.io"...
weixin_30666401的博客
08-17 491
错误原文分析 文件操作超租期，实际上就是data stream操作过程中文件被删掉了。通常是因为Mapred多个task操作同一个文件，一个task完成后删掉文件导致。这个错误跟dfs.datanode.max.transfer.threads参数到达上限有关。这个是datanode同时处理请求的任务上限，总默认值是 4096，该参数取值范围[1 to 8192] hado...
hive报lzo Premature EOF from inputStream错误
weixin_34202952的博客
04-23 241
今天dw组同事发邮件说有一个问题让帮解决一下。他们自己没能搞得定。下面问题解决过程： 1、hql insert overwrite table mds_prod_silent_atten_user partition (dt=20141110) select uid, host, atten_time from (select uid, host, atten_time from ...
hbase链接报错: java.io.ioexception: could not locate executable null\bin\win
09-01
HBase是一种分布式的非关系型数据库，它基于Hadoop的HDFS文件系统进行存储，并且提供了高可靠性、高扩展性和高性能的特性。当在使用HBase时，有时可能会遇到一些报错信息。 对于报错信息：java.io.IOException: could not locate executable null\bin\win，这是由于系统环境变量配置不正确导致的。在Windows系统中，HBase需要依赖一些可执行文件来执行不同的操作。然而，这个错误消息告诉我们系统找不到指定位置的可执行文件。 解决这个问题，我们可以按照以下步骤操作： 1. 首先，确认你已经正确安装了HBase并且设置好了系统环境变量。确保HBase的安装目录被正确添加到 PATH 环境变量中。 2. 确保在 HBase 的 conf 目录下，有一个名为 hbase-site.xml 的配置文件。在这个文件中，你需要设置 HBase 的主要配置属性，例如 HBase 的根目录。 3. 确认 Hadoop 的 bin 目录也被正确添加到 PATH 环境变量中。这是因为HBase依赖于Hadoop的一些可执行文件。 4. 确认 Hadoop 的配置文件也存在于其 conf 目录中，并且 Hadoop 的根目录也被正确设置。 5. 最后，尝试重新启动 HBase，看看是否仍然报错。 如果以上步骤都正确进行，并且环境配置也正确，你应该能够避免这个错误。如果问题仍然存在，请仔细检查上述步骤，并确保每一步都按照正确的方式进行操作。 希望以上解答能够帮助你解决HBase链接报错的问题。如果仍然有疑问，请提供更多的详细信息，以便我们能更准确地定位问题并给出进一步的解决方案。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值