flume从本地读取数据录入到hdfs文件系统

最新推荐文章于 2024-12-28 23:05:44 发布

原创最新推荐文章于 2024-12-28 23:05:44 发布 · 2.6k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#flume #hdfs

hadoop 专栏收录该内容

5 篇文章

订阅专栏

本文介绍了一个使用 Apache Flume 进行日志收集的具体配置案例。配置包括源(Source)、通道(Channel)和接收器(Sink)的设置，其中源采用 TAILDIR 类型监听指定目录下的 .log 文件，通道为内存类型，接收器则将数据写入 HDFS 中，并详细配置了 HDFS 的路径、滚动策略等参数。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

配置文件

agent.sources = origin
agent.channels = memorychannel
agent.sinks = target

agent.sources.origin.type = TAILDIR
agent.sources.origin.filegroups=f1
agent.sources.origin.filegroups.f1=/hadoop/flume/logs/test/.*.log*
agent.sources.origin.channels = memorychannel
agent.sources.origin.positionFile=/hadoop/flume/logs/test/position.json

agent.sinks.loggerSink.type = logger
agent.sinks.loggerSink.channel = memorychannel

agent.channels.memorychannel.type = memory
agent.channels.memorychannel.capacity = 1000
agent.channels.memorychannel.transactionCapacity = 100

agent.sinks.target.type = hdfs
agent.sinks.target.channel = memorychannel
agent.sinks.target.hdfs.path = hdfs://127.0.0.1:9000/flume/events/%y-%m-%d/%H%M%S
agent.sinks.target.hdfs.filePrefix = data-%{host}
agent.sinks.target.hdfs.rollInterval = 30
agent.sinks.target.hdfs.rollSize = 100
agent.sinks.target.hdfs.rollCount = 0
agent.sinks.target.hdfs.round = true
agent.sinks.target.hdfs.useLocalTimeStamp = true
agent.sinks.target.hdfs.minBlockReplicas=1
agent.sinks.target.hdfs.writeFormat=Text
agent.sinks.target.hdfs.fileType=DataStream