使用库:pyhdfs
调用方法:
pyhdfs.HdfsClient(ip,port,user).copy_from_local()
pyhdfs.HdfsClient(ip,port,user).copy_to_local()
异常现象1如下图:

异常现象2如下图:

异常现象3如下图:

原因分析:可以看出,以上都是连接成功了,但是上传或者下载失败了,造成这种现象的原因是
我这里连接的是name节点,端口50070,当调用copy_from_local()时,name节点会主动去连接data节点进行数据读写操作,而data节点端口50075没有开启,造成data节点连接超时,抛出异常
解决办法:开启data节点端口
本文介绍了使用 pyhdfs 库进行 HDFS 数据传输时遇到的连接超时异常现象及原因分析。通过开启 data 节点端口解决了 name 节点在执行文件上传或下载操作时出现的数据节点连接超时问题。
3525

被折叠的 条评论
为什么被折叠?



