大数据学习笔记：Flume导数据至Kafka

最新推荐文章于 2024-11-24 06:00:00 发布

原创

最新推荐文章于 2024-11-24 06:00:00 发布 · 1.7k 阅读

1 ·

CC 4.0 BY-SA版权

本文记录了使用Flume将数据从~/testdata/logs目录传输到Kafka的过程，涉及版本为flume:1.7.0、zookeeper:3.4.5和kafka:2.10-0.10.1.1。在实验中，遇到LEADER_NOT_AVAILABLE错误和源文件目录读取错误，解决方案包括重启和清理相关数据。

一、任务描述：将本地目录~/testdata/logs.件夹下的所有.本.件通过Kafka Sink写入Kafka中的flume topic（topic名称为：flume-topic）

数据流

~/testdata/logs -> flume -> kafka

二、版本信息：

flume:1.7.0

zookeeper:3.4.5

kafka:2.10-0.10.1.1

节点数：3

三、相关配置

flume agent配置

LogAgent.sources = mysource
LogAgent.channels = mychannel
LogAgent.sinks = mysink

LogAgent.sources.mysource.type = spooldir
LogAgent.sources.mysource.channels = mychannel
LogAgent.sources.mysource.spoolDir =/home/zkpk/testdata/logs

LogAgent.sinks.mysink.channel = mychannel
LogAgent.sinks.mysink.type = org.apache.flume.sink.kafka.KafkaSink
LogAgent.sinks.mysink.kafka.bootstrap.servers=master:9092,slave1:9092,slave2:9092
LogAgent.sinks.mysink.kafka.topic=flume-topic
LogAgent.sinks.mysink.kafka.flumeBatchSize=20
LogAgent.sinks.mysink.kafka.producer.acks=1
LogAgent.sinks.mysink.kafka.producer.linger.ms=1


LogAgent.channels.mychannel.type = memor