Hadoop_三台服务器搭建集群- 启动HDFS在fs appendToFile 报错（从失败稀里糊涂Ok了）

最新推荐文章于 2022-07-22 17:59:40 发布

yidianyidei

最新推荐文章于 2022-07-22 17:59:40 发布

阅读量1.2k

点赞数 2

CC 4.0 BY-SA版权

分类专栏：大数据中遇到坑文章标签： hadoop hdfs 大数据

本文链接：https://blog.youkuaiyun.com/yidianyidei/article/details/107362470

本文介绍了在三台服务器上搭建Hadoop HDFS集群时遇到的fs appendToFile错误，以及如何通过修改hdfs-site.xml配置解决此问题。错误源于节点替换策略，调整相关参数后重启集群。另外，当追加文件失败时，尝试创建新文件上传并追加成功，可能与网络配置有关。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

无法使用appenToFile

一初始

群起hdfs 集群-start-hdfs.sh
在这里插入图片描述

hadoop fs -appendToFile 3 /2

20/07/15 09:29:18 INFO hdfs.DFSClient: Exception in createBlockOutputStream
java.io.IOException: Got error, status message , ack with firstBadLink as 172.21.0.7:50010
	at org.apache.hadoop.hdfs.protocol.datatransfer.DataTransferProtoUtil.checkBlockOpStatus(DataTransferProtoUtil.java:140)
	at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.createBlockOutputStream(DFSOutputStream.java:1363)
	at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.setupPipelineForAppendOrRecovery(DFSOutputStream.java:1188)
	at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:455)
20/07/15 09:29:18 WARN hdfs.DFSClient: Error Recovery for block BP-31621113-127.0.0.1-1594741021462:blk_1073741841_1021 in pipeline DatanodeInfoWithStorage[106.55.63.155:50010,DS-37f9b2de-2d