通过flume把日志文件内容写入kafka主题

最新推荐文章于 2025-06-26 12:44:04 发布

骷髅头的寂寞

最新推荐文章于 2025-06-26 12:44:04 发布

阅读量863

点赞数 1

CC 4.0 BY-SA版权

分类专栏： kafka 文章标签： flume kafka

本文链接：https://blog.youkuaiyun.com/m0_37786447/article/details/80577798

kafka 专栏收录该内容

2 篇文章

订阅专栏

本文介绍如何配置Flume将日志数据发送至Kafka。使用Flume版本1.6与Kafka版本2.11，通过具体配置示例实现从文件系统收集日志并实时传输至Kafka主题的过程。

首先自行安装flume和 kafka当然还要jdk，我flume版本是1.6的kafka版本2.11，jdk1.8。

首先在路径flume下的conf里面创建一个logtokafka.conf文件进行配置配置内容如下。

agent.sources=r1
agent.sinks=k1
agent.channels=c1

agent.sources.r1.type=exec
agent.sources.r1.command=tail -F /opt/log.log
agent.sources.r1.restart=true
agent.sources.r1.batchSize=1000
agent.sources.r1.batchTimeout=3000
agent.sources.r1.channels=c1

agent.channels.c1.type=memory
agent.channels.c1.capacity=102400
agent.channels.c1.transactionCapacity=1000

agent.channels.c1.byteCapacity=134217728
agent.channels.c1.byteCapacityBufferPercentage=80

agent.sinks.k1.channel=c1
agent.sinks.k1.type=org.apache.flume.sink.kafka.KafkaSink
agent.sinks.k1.kafka.topic=logtokafka123
agent.sinks.k1.kafka.bootstrap.servers=192.168.72.129:9092,192.168.72.130:9092,192.168.72.131:9092
agent.sinks.k1.serializer.class=kafka.serializer.StringEncoder
agent.sinks.k1.flumeBatchSize=1000
agent.sinks.k1.useFlumeEventFormat=true

配置conf 中的flume-env.sh 文件，没有的cp 一下flume-env.sh .template 。
export JAVA_HOME=/opt/jdk1.8.0_161/

启动flume-agent

./bin/flume-ng agent -c conf -f conf/logtokafka.conf -n agent -Dflume.root.logger=INFO,console

最后可以通过以下命令在kafka下进行查看主题中是否我们日志里面的内容：

./kafka-console-consumer.sh --zookeeper localhost--topic logtokafka --from-beginning