flume + kafka 基本配置

Apache Flume配置与Kafka集成实操教程

最新推荐文章于 2025-09-10 10:06:31 发布

转载最新推荐文章于 2025-09-10 10:06:31 发布 · 126 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：https://my.oschina.net/MaTech/blog/490243

文章标签：

#大数据

本文详细介绍了如何使用Apache Flume配置实时数据收集并将其无缝集成到Kafka中，包括配置示例、关键参数解释及启动命令，帮助读者掌握从源数据收集到消息队列的完整流程。

为什么80%的码农都做不了架构师？>>>

apache-flume1.6 sink默认支持kafka

[FLUME-2242] - Flume Sink and Source for Apache Kafka

官方给的例子很贴心，可以直接运行=，=，详细配置之后慢慢看。

a1.channels = channel1
a1.sources = src-1
a1.sinks = k1

a1.sources.src-1.type = spooldir #实时性要求不高的话，可以用这种方式，tail实际效率也挺低的
a1.sources.src-1.channels = channel1
a1.sources.src-1.spoolDir = /opt/flumeSpool/
a1.sources.src-1.fileHeader = false

#a1.sources.src-1.type = exec
#a1.sources.src-1.command = tail -F /opt/flumeSpool/abc.log
#a1.sources.src-1.channels = channel1

a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink
a1.sinks.k1.topic = testlog
a1.sinks.k1.brokerList = 1.1.1.11:9092,1.1.1.12:9092
a1.sinks.k1.requiredAcks = 1
a1.sinks.k1.batchSize = 20
a1.sinks.k1.channel = channel1

a1.channels.channel1.type = org.apache.flume.channel.kafka.KafkaChannel
a1.channels.channel1.capacity = 10000
a1.channels.channel1.transactionCapacity = 1000
a1.channels.channel1.brokerList=1.1.1.11:9092,1.1.1.12:9092
a1.channels.channel1.topic=testlog
a1.channels.channel1.zookeeperConnect=1.1.1.13:2181