HDFS实时上传文件夹中的数据文件

最新推荐文章于 2025-05-13 08:44:33 发布

原创最新推荐文章于 2025-05-13 08:44:33 发布 · 477 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#HDFS #Hadoop #Python

python 同时被 2 个专栏收录

13 篇文章

订阅专栏

Hadoop学习笔记

5 篇文章

订阅专栏

本文介绍了一个使用Python编写的简单脚本，该脚本能够监控指定文件夹中的新增文件，并将这些文件自动上传到Hadoop分布式文件系统(HDFS)中。通过循环检查的方式，脚本实现了对文件的实时监测。

需求：
编写一个脚本，监控一个文件夹，当有文件加入将其上传到HDFS。

步骤：

记录已经上传过的文件
获取文件夹下所有数据文件
判断是否已经上传，如果没有，上传，并记录

python脚本：

import os
from subprocess import call
import argparse

parser = argparse.ArgumentParser()
parser.add_argument("path", type=str)
args = parser.parse_args()

old_files = []
path = args.path

while True:
    files = os.listdir(path)
    for file in files:
        if file not in old_files:
            ret_code = call('hdfs dfs -put %s /qjx/test' %file, shell=True)
            print('code:%s, filename:%s'%(str(ret_code), file))
            old_files.append(file)