Python | 基于WebHDFS REST API操作HDFS

本文档介绍了如何利用Python结合WebHDFS REST API来执行HDFS的基本操作。参考官方文档(http://hadoop.apache.org/docs/r3.2.1/hadoop-project-dist/hadoop-hdfs/WebHDFS.html)以及优快云上的一篇文章(https://blog.youkuaiyun.com/gamer_gyt/article/details/52446757),提供了实际工作中的应用示例。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

记录下基于WebHDFS REST API操作HDFS的基本功能,具体更多请参照官网介绍:

http://hadoop.apache.org/docs/r3.2.1/hadoop-project-dist/hadoop-hdfs/WebHDFS.html

# 获取客户端连接
client = Client(url='http://192.168.0.1:50070', root=None, proxy=None, timeout=None, session=None)
# 或者使用InsecureClient,基于InsecureClient时可以指定登录用户,而Client()中的proxy会报异常,还没整明白
client = InsecureClient("http://192.168.0.1:50070", user='hadoop');

# 创建目录
client.makedirs(hdfs_path)
 
# 删除hdfs文件
client.delete(hdfs_path)
 
# 上传文件到hdfs
client.upload(hdfs_path, local_path, cleanup=True)
 
# 从hdfs获取文件到本地
client.download(hdfs_path, local_path, overwrite=False)
 
# 追加数据到hdfs文件
client.write(hdfs_path, data, overwrite=False, append=True, encoding='utf-8')
 
# 覆盖数据写到hdfs文件
client.write(
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值