Hadoop(十一)flume把数据写入kafka

最新推荐文章于 2025-06-25 00:23:38 发布

原创最新推荐文章于 2025-06-25 00:23:38 发布 · 840 阅读

3 ·

CC 4.0 BY-SA版权

大数据专栏收录该内容

20 篇文章

订阅专栏

本文介绍如何配置Flume将数据从文件系统传输至Kafka主题的具体步骤。通过设置Flume的sink为KafkaSink类型，实现从指定目录读取文件并将内容发布到Kafka。同时提供启动Flume与Kafka服务的命令及验证数据传输成功的方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

使用flume把数据写入kafka，需要改变flume配置文件中的sinks属性

进入flume安装文件的conf下创建一个.properties文件这里创建 c.properties，并对其进行配置

ak.sources = mysource
ak.channels = mychannel
ak.sinks = mysink

ak.sources.mysource.type = spooldir
ak.sources.mysource.channels = mychannel
ak.sources.mysource.spoolDir =/tmp/logs
ak.sinks.mysink.channel = mychannel


ak.sinks.mysink.channel = mychannel
ak.sinks.mysink.type = org.apache.flume.sink.kafka.KafkaSink
ak.sinks.mysink.kafka.topic = flume-data
ak.sinks.mysink.kafka.bootstrap.servers = localhost:9092
ak.sinks.mysink.kafka.flumeBatchSize = 20
ak.sinks.mysink.kafka.producer.acks = 1
ak.sinks.mysink.kafka.producer.linger.ms = 1
ak.sinks.mysink.kafka.producer.compression.type = snappy


ak.channels.mychannel.type = memory
ak.channels.mychannel.capacity = 10000
ak.channels.mychannel.transactionCapacity = 100

配置完之后进入flume安装目录启动flume

bin/flume-ng agent --conf conf  --conf-file conf/c.properties --name ak -Dflume.root.logger=DEBUG,console

进入kafka安装目录启动kafka

//先启动 Zookeeper
bin/zookeeper-server-start.sh -daemon config/zookeeper.properties
//在启动 kafka
bin/kafka-server-start.sh -daemon config/server.properties

创建toplic

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic flume-data

新建一个窗口开启消费者等待数据

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic flume-data --from-beginning

上面的flume 配置的是监听 /tmp/logs中的数据，所以我们新建一个文件复制到/tmp/logs中

新建test文件里面写点数据

hadoop ni hao
hello java
hello flume
hello kafka

把test复制到/tmp/logs中

去消费者窗口查看可以看到

[chs@master kafka_2.11-1.1.0]$ bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic flume-data --from-beginning
hadoop ni hao 
hadoop ni hao
hello java
hello flume
hello kafka

OK成功