Python结合pyhdfs模块操作HDFS分布式文件系统

使用python操作hdfs本身并不难，只不过是把对应的shell 功能“翻译”成高级语言，我这里选用的是hdfs，下边的实例都是基于hdfs包进行的。

1：安装

由于我的是windows环境（linux其实也一样），只要有pip或者setup_install安装起来都是很方便的

pip install hdfs

 

2：Client——创建集群连接

​from hdfs import *
client = Client("https://127.0.0.1:50070")

其他参数说明：

classhdfs.client.Client(url,root=None,proxy=None,timeout=None,session=None)

url：ip：端口

root：制定的hdfs根目录

proxy：制定登陆的用户身份

timeout：设置的超时时间

seesion：requests.Session instance, used to emit all requests.（不是太懂，应该四用户发出请求）

这里我们着重看一下proxy这个，首先我们指定root用户连接

client = Client("