【hdfs】在win10上使用python访问hdfs操作文件

最新推荐文章于 2025-01-16 17:18:22 发布

王富贵儿、

最新推荐文章于 2025-01-16 17:18:22 发布

阅读量2.7k

点赞数 1

分类专栏：大数据 python 文章标签：大数据 hdfs python

本文链接：https://blog.youkuaiyun.com/qq_18239343/article/details/123639633

版权

本文介绍了如何在Windows 10上配置HDFS环境，并使用Python进行文件操作。首先，通过CMD安装hdfs库，然后在遇到集群副本数不足导致的文件覆盖错误时，通过修改hdfs-site.xml配置文件解决问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、环境安装：使用cmd安装hdfs环境，pip install hdfs

2、访问hdfs：

from hdfs.client import Client
HDFSHOST = "http://192.168.56.101:9870"
client = Client(HDFSHOST)
# 返回目录下的文件
#print(client.list('/wm/'))

# 创建目录
#client.makedirs('/tmp')
#print(client.list('/'))

# 删除hdfs文件
#print(client.delete('/wm/start-dfs.sh'))
#print(client.list('/wm'))

# 上传文件到hdfs(需要将集群所有节点配置到hosts
#client.upload('/tmp','D:\\2.txt',cleanup=True)
#print(client.list('/tmp'))

# 追加数据到hdfs文件，小于3副本需要修改配置文件
#client.write('/tmp/2.txt', 'sssddss', overwrite=False,  append=True, encoding='utf-8')


# 覆盖数据写到hdfs文件
#client.write('/tmp/1.txt', 'fugai', overwrite=True, append=False, encoding='utf-8')

# 移动或者修改文件
#cli