非kerberos环境下,flume采集日志到kafka

本文介绍如何使用Flume将本地文件的日志数据实时读取并发送至Kafka主题,通过配置Flume的agent、source、channel、sink等组件实现数据的高效传输。详细展示了kafkaflume.conf配置文件的参数设定,包括Kafka的broker地址、主题名、序列化方式及压缩类型等。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

kafkaflume.conf

agent.sources = s1
agent.channels = c1
agent.sinks = k1

agent.sources.s1.type=exec
agent.sources.s1.command=tail -F /usr/local/src/flume/testflume2.log
agent.sources.s1.channels=c1
agent.channels.c1.type=memory
agent.channels.c1.capacity=10000
agent.channels.c1.transactionCapacity=100

#设置Kafka接收器
#
agent.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink
##设置Kafka的broker地址和端口号
agent.sinks.k1.kafka.bootstrap.servers = master:9092,node01:9092,node02:9092
##设置Kafka的Topic
agent.sinks.k1.kafka.topic = mydemo5
##设置序列化方式
#
#
agent.sinks.k1.kafka.flumeBatchSize = 20
agent.sinks.k1.kafka.producer.acks = 1
agent.sinks.k1.kafka.producer.linger.ms = 1
agent.sinks.ki.kafka.producer.compression.type = snappy

agent.sinks.k1.channel=c1

创建一个topic

kafka-topics --create --zookeeper master:2181/kafka --replication-factor 2 --partitions 3 --topic mydemo5

启动flume作为消息生产者写道kafka上

flume-ng agent -c conf -f kafkaflume.conf -n agent -Dflume.root.logger=INFO,console

消费kafka的数据

kafka-console-consumer --bootstrap-server master:9092 --topic mydemo5 --from-beginning

读取一个文件的内容写入追加到新的文件

#!/bin/bash

while read line
do
    echo $line
    sleep 0.01
    echo -e $line >> /usr/local/src/flume/testflume2.log
done < /etc/sudo-ldap.conf
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值