flume把日志从文件夹中采集hdfs上配置文件

最新推荐文章于 2024-01-09 22:07:52 发布

qq_38655865

最新推荐文章于 2024-01-09 22:07:52 发布

阅读量402

点赞数

CC 4.0 BY-SA版权

分类专栏： flume

本文链接：https://blog.youkuaiyun.com/qq_38655865/article/details/99059466

flume 专栏收录该内容

2 篇文章

订阅专栏

本文详细解析了Flume的数据流配置过程，包括定义数据源（source）、通道（channel）和接收器（sink）。通过具体配置示例，阐述了如何设置exec类型的source从access.log文件中读取数据，内存型channel的容量与交易容量，以及HDFS类型的sink如何按时间和分钟自动创建目录存储数据。

# The configuration file needs to define the sources, 
# the channels and the sinks.
# Sources, channels and sinks are defined per agent, 
# in this case called 'agent'

#init
agent.sources = s1
agent.channels = c1
agent.sinks = k1

#define source s1
agent.sources.s1.type = exec
agent.sources.s1.command = tail -f /export/datas/shells/access.log

#define channel
agent.channels.c1.type = memory
#channel的容量最多能存多少个event
agent.channels.c1.capacity = 1000
#单次读取event的个数
agent.channels.c1.transactionCapacity = 100

#define sink
agent.sinks.k1.type = hdfs
#会自动创建目录按照时间和分钟
agent.sinks.k1.hdfs.path = /flume/hdfsPart/Day=%Y-%m-%d/Min=%H%M
agent.sinks.k1.hdfs.useLocalTimeStamp = true
#文件类型格式
agent.sinks.k1.hdfs.fileType = DataStream
#每过多少秒产生一个文件0代表不启用这种方式
agent.sinks.k1.hdfs.rollInterval = 0
agent.sinks.k1.hdfs.rollSize = 3024
agent.sinks.k1.hdfs.rollCount = 0

#bond
agent.sources.s1.channels = c1
agent.sinks.k1.channel = c1