HDFS读取问题：HTTPConnectionPool(host=, port=50075): Max retries exceeded

最新推荐文章于 2024-06-26 14:17:37 发布

原创最新推荐文章于 2024-06-26 14:17:37 发布 · 1.1w 阅读

1 ·

CC 4.0 BY-SA版权

HDFS读写专栏收录该内容

1 篇文章

订阅专栏

本文详细解析了在使用Python操作HDFS时遇到的连接错误问题，并提供了一种有效的解决方案，即通过修改主机文件来确保HDFS节点与IP地址的正确映射。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在使用python读写HDFS时，遇到以下问题：

ConnectionError: HTTPConnectionPool(host='node1.******.com', port=50075): Max retries exceeded with url: /webhdfs/v1/mytest/products/Trace_info.db?op=OPEN&user.name=root&namenoderpcaddress=node4.******.com:8020&offset=0 (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x7f7579ec7e10>: Failed to establish a new connection: [Errno -2] Name or service not known',))

只要出现Failed to establish a new connection就可以使用以下方法（将HDFS节点与IP对应关系增加到host文件）解决。

参考资料：

https://blog.youkuaiyun.com/shen_ness/article/details/82786261