logstash+kafka进行日志的实时采集

本文介绍如何使用Spring框架整合Kafka版本2.1.0_0.9.0.0及以上,并提供配置指南,包括创建主题、启动生产者与消费者的步骤,以及通过Logstash进行日志采集的方法。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >


用spring整合kafka的话只支持kafka-2.1.0_0.9.0.0以上版本

kafka配置

查看topic

bin/kafka-topics.sh --list --zookeeper localhost:2181


启动一个生产者


bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test


开启一个消费者(2183)


bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning


创建一个主题
bin/kafka-topics.sh --create --zookeeper 10.92.1.177:2183 --replication-factor 1 --partitions 1 --topic test

logstash启动日志采集
bin/logstash -f logstash-simple.conf 


filter的重要过滤条件 not in  drop{} --删除

logstash配置文件:

input{
    kafka {
        codec => "plain"
        group_id => "logstash1"
        auto_offset_reset => "smallest"
        reset_beginning => true
        topic_id => "hello"
        #white_list => ["hello"]
        #black_list => nil
        zk_connect => "192.168.0.5:2181" # zookeeper的地址
   }

}filter {
  if "xml" not in [message] {
           drop {}
  }
  if "success" not in [message]{
          drop {}
  }
}
output{
    stdout{
        codec => rubydebug
    }
}
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值