python操作HDFS

最新推荐文章于 2024-09-30 10:41:40 发布

pyml_kdl

最新推荐文章于 2024-09-30 10:41:40 发布

阅读量769

点赞数

CC 4.0 BY-SA版权

分类专栏：学习记录文章标签： python hadoop hdfs

本文链接：https://blog.youkuaiyun.com/pyml_kdl/article/details/114710048

学习记录专栏收录该内容

16 篇文章

订阅专栏

依赖库：pip install hdfs

from hdfs.client import Client,InsecureClient


# Insecure 可以解决dr.who权限问题 
# hadoop 3.2以后单机访问端口9870 之前50070
# client = InsecureClient('http://172.17.0.2:9870',user='hadoop')
# client = Client('http://172.17.0.2:9870',proxy='hadoop')
# docker 集群
# client = Client('http://172.20.1.0:9870')
#获取指定路径上的具体信息
print(client.list('/'))

# 创建目录
# client.makedirs('lyjtest')

# 冲命名
# client.rename('test','newtest')

# 删除
# client.delete('/lyjtest')

# 上传数据
# client.upload('/','/home/lyj/PycharmProjects/py3/input.txt')

# 下载数据
# client.download('newtest/target.txt','/home/lyj/Desktop')


# 查看根目录
print(client.list('/user/linubu/lyjtest'))

# 查看指定目录的具体信息
# print(client.status('/'))

# 读文件
with client.read('/user/linubu/lyjtest/sss.txt') as reader:
   print(reader.read())

dr.who权限问题参考：https://blog.youkuaiyun.com/u010025966/article/details/112977555
python-hdfs API地址：https://hdfscli.readthedocs.io/en/latest/quickstart.html#interactive-shell