Flume根据文件中每行开始的日期进行文件夹分类导入HDFS

最新推荐文章于 2025-06-25 00:23:38 发布

Cheengvho

最新推荐文章于 2025-06-25 00:23:38 发布

阅读量2.6k

点赞数

CC 4.0 BY-SA版权

分类专栏： Flume Hadoop 文章标签： Flume

本文链接：https://blog.youkuaiyun.com/m0_37890482/article/details/81130616

本文介绍了如何使用Flume配置文件access_hdfs.properties，通过解析文件每行开头的日期来实现文件的分类，并将这些文件导入到HDFS中。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

这里使用Flume只需要创建一个新的flume配置文件就可以了，我这里将配置文件取名为access_hdfs.properties，下面是配置文件内容：

#-----------------access_hdfs.properties---------------#
#--------------------Edit by Cheengvho-----------------#
agent1.sources = src1
agent1.channels = ch1
agent1.sinks = sink1

agent1.sources.src1.interceptors = i1
agent1.sources.src1.interceptors.i1.type = regex_extractor
agent1.sources.src1.interceptors.i1.regex = ^(?:\\n)?(\\d\\d\\d\\d-\\d\\d-\\d\\d\\s\\d\\d:\\d\\d)
agent1.sources.src1.interceptors.i1.serializers = s1
agent1.sources.src1.interceptors.i1.serializers.s1.type = org.apache.flume.interceptor.RegexExtractorInterceptorMillisSerializer
agent1.sources.src1.interceptors.i1.serializers.s1.name = timestamp
agent1.sources.src1.interceptors.i1.serializers.s1.pattern = yyyy-MM-dd HH:mm


agent1.sources.src1.type = spooldir
agent1.sources.src1.spoolDir = /var/log/flume
agent1.sources.src1.channels = ch1

agent1.sinks.sink1.type = hdfs
agent1.sinks.sink1.hdfs.path = /flume/