本地连接hadoop集群问题汇总

最新推荐文章于 2025-05-23 11:05:34 发布

王阿臭的学习笔记

最新推荐文章于 2025-05-23 11:05:34 发布

阅读量2k

点赞数

CC 4.0 BY-SA版权

分类专栏： hadoop 文章标签： hadoop idea

本文链接：https://blog.youkuaiyun.com/weixin_44641024/article/details/101407829

hadoop 专栏收录该内容

5 篇文章

订阅专栏

本文分析了本地代码读取云主机Hadoop数据时出现超时的问题，详细解释了错误信息，指出原因是本地代码请求到了错误的内网地址。提供了解决方案，即在hdfs-site.xml中增加特定属性并重启集群，同步配置文件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.本地运行代码读取云主机hadoop数据超时

本地代码简版，其中hadoopcluster为集群的命名空间

val spark = SparkSession.builder()
      .appName("SparkStatFormatData")
      .master("*")
      .getOrCreate()

val data = spark.sparkContext.textFile("hdfs://hadoopcluster/test")

报错信息：

19/09/25 19:21:50 WARN BlockReaderFactory: I/O error constructing remote block reader.
org.apache.hadoop.net.ConnectTimeoutException: 60000 millis timeout while waiting for channel to be ready for connect. ch : java.nio.channels.SocketChannel[connection-pending remote=/172.26.84.192:50010]
  
19/09/25 19:21:50 WARN DFSClient: Failed to connect to /172.26.84.192:50010 for block, add to deadNodes and continue. org.apache.hadoop.net.ConnectTimeoutException: 60000 millis timeout while waiting for channel to be ready for connect. ch : java.nio.channels.SocketChannel[connection-pending remote=/172.26.84.192:50010]
org.apache.hadoop.net.ConnectTimeoutException: 60000 millis timeout while waiting for channel to be ready for connect. ch : java.nio.channels.SocketChannel[connection-pending remote=/172.26.84.192:50010]

报错信息分析：

从报错信息中可以看出，本地代码运行的过程中，所有请求都请求到内网地址中，该内网地址为部署hadoop集群的内网地址，我们本地环境的内网地址，并不是我们想要请求的云主机的hadoop集群。

解决方案：

在hdfs-site.xml中增加dfs.datanode.use.datanode.hostname属性，表示datanode之间的通信也通过域名方式。

重启hadoop集群，同时在本地运行环境的resource目录，同步集群的hdfs-site.xml配置文件。