用Python连接HDFS

最新推荐文章于 2025-06-27 16:47:41 发布

原创最新推荐文章于 2025-06-27 16:47:41 发布 · 7.2k 阅读

5 ·

CC 4.0 BY-SA版权

Python语言专栏收录该内容

10 篇文章

订阅专栏

本文介绍如何使用Python连接HDFS文件系统并进行文件操作。主要内容包括安装第三方库hdfs，配置HDFS URL及文件路径，建立客户端连接，以及读取指定目录下的所有文件夹名称等。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

如果各位目前有用到大数据技术，相信很多的结果写在hdfs是最方便也最快速的。

本篇博客就主要讲一下怎么利用python直接去连接HDFS文件系统，并对文件进行操作。

Python连接hbase需要一个三方库（这里python版本2.7）hdfs，利用pip install hdfs即可下载安装。

配置好HDFS Url：

HDFSUrl = "http://***.***.***.**:50070"

配置HDFS文件所在的目录：

inputpath = "/market/data/output/"

建立连接：

client = hdfs.Client(HDFSUrl, root='/')

对文件进行操作：

# 获取output文件夹下所有的文件夹名称
fs = client.list(inputpath)
for rootqvalues, dirsqvalues, filesqvalues in client.walk(qvalues_path):
    # 获取目录下 路径 文件夹  以及文件
    print rootqvalues
    print dirsqvalues
    print filesqvalues