flume导入文件到Kafka

本文档详细介绍了如何使用Flume将文件从指定目录导入到Kafka主题中。首先通过kafka-topics.sh创建新的Kafka主题,然后配置Flume agent,设置监听目录、拦截器和sink,确保数据能正确流入Kafka。最后,启动Kafka消费者查看导入的数据。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

flume导入文件到Kafka

创建新主题存放此次消息

kafka-topics.sh --create --zookeeper 192.168.153.133:2181 --topic train_row --partitions 1 --replication-factor 1

配置flume文件,执行

flume-ng agent --name events --conf /opt/soft/flume160/conf/ --conf-file  /opt/soft/flume160/conf/kb15conf/train.conf  -Dflume.root.logger=INFO,console

train.conf

events.sources=eventsSource

events.channels=eventsChannel

events.sinks=eventsSink

events.sources.eventsSource.type=spooldir

#监听目录,该目录下出现新文件,符合匹配条件可以持续监听

events.sources.eventsSource.spoolDir=/opt/kb15tmp/flumelogfile/train

events.sources.eventsSource.deserializer=LINE

#每行最大长度

events.sources.eventsSource.deserializer.maxLineLength=320000

#匹配条件

events.sources.eventsSource.includePattern=train_[0-9]{4}-[0-9]{2}-[0-9]{2}.csv

#去除头文件

events.sources.eventsSource.interceptors.head_filter.type=regex_filter

events.sources.eventsSource.interceptors.head_filter.regex=^User*

events.sources.eventsSource.interceptors.head_filter.excludeEvents=true

events.channels.eventsChannel.type=file

events.channels.eventsChannel.checkpointDir=/opt/kb15tmp/checkpoint/train

events.channels.eventsChannel.dataDirs=/opt/kb15tmp/checkpoint/data/train

#读取到kafka主题

events.sinks.eventsSink.type=org.apache.flume.sink.kafka.KafkaSink

events.sinks.eventsSink.batchSize=640

events.sinks.eventsSink.brokerList=192.168.153.133:9092

events.sinks.eventsSink.topic=train_row

events.sources.eventsSource.channels=eventsChannel

events.sinks.eventsSink.channel=eventsChannel

创建消费者

kafka-console-consumer.sh --bootstrap-server chen133:9092 --topic train_row --from-beginning

数据存入Kafka

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

s_schen

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值