Hadoop集群写数据异常--timeout while waiting for channel to be ready for write

最新推荐文章于 2024-10-10 16:54:23 发布

灰二和杉菜

最新推荐文章于 2024-10-10 16:54:23 发布

阅读量2.5k

点赞数

CC 4.0 BY-SA版权

分类专栏： BigData 文章标签： HDFS写异常 timeout while waiting for channel t

本文链接：https://blog.youkuaiyun.com/qq475781638/article/details/94737382

在尝试将数据从Kylin写入HBase并通过HDFS进行时，出现错误：'timeout while waiting for channel to be ready for write'。尽管集群的超时设置为1200000s，问题依然存在。经过测试，发现使用'hadoop put'命令也遇到相同异常，从而确定是HDFS写入异常。解决方案是重启DataNode(DN)节点，因为可能是由于直接下线DN节点导致的问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

今天kylin写数据到HBase到HDFS是报错：
timeout while waiting for channel to be ready for write
具体异常如下：

2019-07-05 11:18:10,862 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: DatanodeRegistration(192.168.146.127, datanodeUuid=cbb24ad6-04ff-
4cd2-ae11-f4389055bac5, infoPort=50075, ipcPort=50020, storageInfo=lv=-55;cid=CID-7e94c25f-298b-4867-a117-f20f384eaef3;nsid=2061526458;c=0):Got
 exception while serving BP-535123581-192.168.136.54-1532154474227:blk_1074454358_713534 to /192.168.146.126:54066
java.net.SocketTimeoutException: 1200000 millis timeout while waiting for channel to be ready for write. ch : java.nio.channels.SocketChannel[c
onnected local=/192.168.146.127:50010 remote=/192.168.146.126:54066]
        at org.apache.hadoop.net.SocketIOWithTimeout.waitForIO(SocketIOWithTimeout.java:246)
        at org.apache.hadoop.net.SocketOutputStream.waitForWritable(SocketOutputStream.java:172)
        at org.apache.hadoop.net.SocketOutputStream.transferToFully(SocketOut