1.pyhdfs 连接上 Hadoop
1)使用 pyhdfs ,pip install pyhdfs
2)client = pyhdfs.HdfsClient(hosts="139.********",timeout=60,max_tries=5)
参数详解:
坑:连接的时候会碰到权限问题:修改 节点上的 hdfs-site.xml 权限问题
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
3)查看集群根目录下有哪些文件:client.listdir("/")