logstash写入到kafka和从kafka读取日志

最新推荐文章于 2025-05-09 17:35:56 发布

转载

最新推荐文章于 2025-05-09 17:35:56 发布

· 1.5w 阅读

24 ·

版权

原文链接：http://blog.51cto.com/9025736/2375976

文章标签：

#大数据 #json #运维

本文介绍了如何使用logstash收集nginx日志并将其发送到kafka，以及配置logstash从kafka消费日志的过程，是大数据日志处理的一个应用场景。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

收集nginx日志放到kafka

修改nginx日志格式：[nginx日志格式修改](https://blog.51cto.com/9025736/2373483)
input {
  file {
    type => "nginx-access"
    path => "/data/wwwlogs/access_nginx.log"
    start_position => "beginning"
    codec => json
 }

file {
   path => "/var/log/messages"
   start_position => "beginning"
   type => "system-log-252"
    }
   }
 }
output {
    if [type] == "nginx-access" {
kafka {
    bootstrap_servers => "192.168.1.252:9092" #kafka服务器地址
    topic_id => "252nginx-accesslog"
    batch_size => 5
    codec => "json" #写入的时候使用json编码，因为logstash收集后会转换成json格式
      }
      } 
                }
  if [type] == "system-log-252" {
 kafka {
  bootstrap_servers => "192.168.1.252:9092"
  topic_id =>