使用hdfs模块上传文件时出错

在尝试使用hdfs模块上传文件时遇到getaddrinfo failed错误,原因是本地hosts文件未配置Hadoop集群的IP映射。解决方案包括在Linux下编辑/etc/hosts,在Windows下编辑C:WindowsSystem32driversetchosts,添加集群IP映射。错误产生原因是上传过程中需要与另一主机建立连接,但本地hosts中无该主机的IP信息。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

参考:https://blog.youkuaiyun.com/fuck487/article/details/80859581

上传文件时报错:

for res in _socket.getaddrinfo(host, port, family, type, proto, flags):socket.gaierror: [Errno 11001] getaddrinfo failed

urllib3.exceptions.NewConnectionError: <urllib3.connection.HTTPConnection object at 0x0000023E517495C8>: Failed to establish a new connection: [Errno 11001] getaddrinfo failed

需要把本地的hosts改下,添加hadoop集群的IP映射

linux下修改/etc/hosts,win下修改C:\Windows\System32\drivers\etc\hosts

这是我的集群

# /etc/hosts
192.168.6.47 master
192.168.6.41 slave1
192.168.6.48 slave2

出现的原因:

会建立2次socket连接,第一次连接成功,第二次连接失败。第二次失败是找不到主机名对应的IP。上传时业务由另一个主机来完成。本地会和另一个主机建立连接,只知道另一个主机的主机名,查看本地的hosts文件,找不到IP映射。

详情如下:

client=Client(url = "http://192.168.6.47:50070/&

评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值