使用python-pyhdfs连接hdfs时报错

最新推荐文章于 2024-04-03 15:08:57 发布

原创最新推荐文章于 2024-04-03 15:08:57 发布 · 3.4k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#big data #hdfs

当使用python-pyhdfs在HDFS上进行读写操作时，由于节点间通信需求，仅提供单个节点IP会导致读取失败。解决办法是在客户端配置所有节点的映射关系，确保跨节点操作的顺利进行。

一、问题描述

    raise ConnectionError(e, request=request)

ConnectionError: HTTPConnectionPool(host='a', port=50075): Max retries exceeded with url: /webhdfs/v1/logs/pv?op=OPEN&user.name=root&namenoderpcaddress=hdfscluster&offset=0 (Caused by 
NewConnectionError('<urllib3.connection.HTTPConnection object at 0x0000026A
D0C6BC50>: Failed to establish a new connection: [WinError 10060]
 由于连接方在一段时间后没有正确答复或连接的主机没有反应，连接尝试失败。',))

二、原因

from pyhdfs import HdfsClient
client = HdfsClient(hosts='192.168.126.128:50070',user_name='root')
response = client.open("/logs/pv")
print(response.readline())