使用python连接hdfs 文件系统，实现上传文件

最新推荐文章于 2025-06-27 16:47:41 发布

原创最新推荐文章于 2025-06-27 16:47:41 发布 · 3.7k 阅读

2 ·

CC 4.0 BY-SA版权

hadoop 专栏收录该内容

5 篇文章

订阅专栏

本文介绍如何在用户根目录下配置HDFS客户端，并通过Python进行文件操作，包括列出目录、读取文件和写入文件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、在用户的根目录下写配置文件

(mypython) [root@hadoop-yarn-117 ~]# vi .hdfscli.cfg 
[global]
default.alias = dev


[dev.alias]
url = http://hadoop-yarn-117:50070
user = root

二、使用python 连接

from hdfs import Config

client = Config().get_client()
'''
list_file = client.list('/data01')
print(list_file)
with client.read('/data01/README.txt', chunk_size=1280) as reader:
    for chunk in reader:
        print(chunk.decode().replace(' ', '\n '))
'''
with open('/root/docu/nginx-access.log') as opener, client.write('/data01/nginx.log') as writer:
    for line in opener:
        writer.write(bytes(line, encoding='utf-8'))