flume 使用 exec 采集容器日志，转储磁盘

最新推荐文章于 2024-12-16 22:05:29 发布

花菜回锅肉

最新推荐文章于 2024-12-16 22:05:29 发布

阅读量865

点赞数 13

分类专栏：数据仓库文章标签： flume 大数据

本文链接：https://blog.youkuaiyun.com/hubuwch/article/details/135365571

版权

本文详细描述了如何使用ApacheFlume的execsource从Docker容器的日志文件中采集数据，并通过file_rollsink将日志实时转储到磁盘，指出存在5-6秒的时差，以及flume重启时的数据处理情况。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

flume 使用 exec 采集容器日志，转储磁盘

在该场景下，docker 服务为superset，flume 的sources 选择 exec ， sinks选择 file roll 。

任务配置

具体配置文件如下：

#simple.conf: A single-node Flume configuration

# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = exec
# exec source 监控命令是tail -f ,日志文件可随意指定，这里选择的是容器服务的日志文件
a1.sources.r1.command = tail -F /data/docker/containers/e511e3e4b3445efeb38fe822ac086dfc5ebb8bdc4a725dc6e2969ef2092c78ec/e511e3e4b3445efeb38fe822ac086dfc5ebb8bdc4a725dc6e2969ef2092c78ec-json.log

# Describe the sink
a1.sinks.k1.type = file_roll
#指定文件转存储目录,可自建
a1.sinks.k1.sink.directory = /home/test/log
# one day roll once 一天滚动一次，为了防止转储日志文件过大，按天进行文件滚动
a1.sinks.k1.sink.rollInterval = 86400
#a1.sinks.k1.sink.pathManager = superset
# 定义日志文件后缀
a1.sinks.k1.sink.pat