hdfs读取文件出发java.io.EOFException异常

最新推荐文章于 2022-03-08 13:03:59 发布

原创最新推荐文章于 2022-03-08 13:03:59 发布 · 1.9k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hdfs #EOF

hadoop 专栏收录该内容

11 篇文章

订阅专栏

本文记录了一次在直接操作Hadoop HDFS时遇到的异常情况，具体表现为使用BufferedReader读取文件时发生的EOF异常。通过对异常堆栈的详细分析及代码段的展示，探讨了可能的原因及其解决方案。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

[2014-05-05 17:42:51] [main] DEBUG - Error making BlockReader. Closing stale NioInetPeer(Socket[addr=/XXXXX,port=50010,localport=55897])

java.io.EOFException: Premature EOF: no length prefix available

at org.apache.hadoop.hdfs.protocol.HdfsProtoUtil.vintPrefixed(HdfsProtoUtil.java:171)

at org.apache.hadoop.hdfs.RemoteBlockReader2.newBlockReader(RemoteBlockReader2.java:383)

at org.apache.hadoop.hdfs.BlockReaderFactory.newBlockReader(BlockReaderFactory.java:136)

at org.apache.hadoop.hdfs.DFSInputStream.getBlockReader(DFSInputStream.java:993)

at org.apache.hadoop.hdfs.DFSInputStream.blockSeekTo(DFSInputStream.java:471)

at org.apache.hadoop.hdfs.DFSInputStream.readWithStrategy(DFSInputStream.java:662)

at org.apache.hadoop.hdfs.DFSInputStream.read(DFSInputStream.java:706)

at java.io.DataInputStream.read(DataInputStream.java:132)

at sun.nio.cs.StreamDecoder.readBytes(StreamDecoder.java:264)

at sun.nio.cs.StreamDecoder.implRead(StreamDecoder.java:306)

at sun.nio.cs.StreamDecoder.read(StreamDecoder.java:158)

at java.io.InputStreamReader.read(InputStreamReader.java:167)

at java.io.BufferedReader.fill(BufferedReader.java:136)

at java.io.BufferedReader.readLine(BufferedReader.java:299)

at java.io.BufferedReader.readLine(BufferedReader.java:362)

	FSDataInputStream is = fs.open(fileStatus.getPath());

	BufferedReader br = new BufferedReader(
								new InputStreamReader(is));

	String line = null;
	while ((line = br.readLine()) != null) {XXXX;//这一行出异常
}

虽然，不影响结果,但不知为啥直接操作hdfs，不同于普通文件reader会有这个异常。

代码异常处：

public static InputStream vintPrefixed(final InputStream input)

throws IOException {

final int firstByte = input.read();

if (firstByte == -1) {

throw new EOFException("Premature EOF: no length prefix available");

}