logstash消费kafka过程中对数据的一些常规清洗和处理

最新推荐文章于 2025-06-02 15:01:51 发布

xufwind

最新推荐文章于 2025-06-02 15:01:51 发布

阅读量1.8k

点赞数

CC 4.0 BY-SA版权

分类专栏： elk 文章标签： logstash kafka

本文链接：https://blog.youkuaiyun.com/xufwind/article/details/103204832

elk 专栏收录该内容

1 篇文章

订阅专栏

本文介绍如何使用Logstash从Kafka消费数据并处理后传递至Elasticsearch，涉及Kafka连接配置、JSON解析、字段添加与重命名、时间格式转换及输出字段选择等关键步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

logstash通过插件的形式来配置input，filter，output，在消费数据后，如果需要对数据做处理,需要用到filter的很多功能。最近使用logstash传递kafka数据到es时，了解了一些logstash处理数据的方式，以下logstash的config做个简单分享:

input {
    kafka {
         bootstrap_servers => "xxx.xxx.xxx.xx:9092,yyy.yyy.yyy.yy:9092," ##kafka地址，可以是集群
         client_id => "test_log_consume"   
         auto_offset_reset => "earliest"  ##从最新的偏移量开始消费
         topics => ["topic_test"]  ## 数组类型，可配置多个topic
         decorate_events => true  #此属性会将当前topic、offset、group、partition等信息也带到message中
         consumer_threads => 1  ## 指定消费的线程数，消费单个topic的话，最好和该topic的partition个数一直或小于这个数
         codec => "json"  ## 获取到kafka的数据后，如果传入的是json格式，这里可以做一个json decode解析
    }
}

filter {
  mutate {
    add_field => {  ## 添加字段
      "offset" => "%{[@metadata][kafka][offset]}"    ## 使用元数据信息添加字段 
	  "patition_id" => "%{[@metadata][kafka][partition]}"
	  "add_field_1" => "test_add_field"  ## 直接写某些数据添加字段
    }
    rename => { 
	  "old_key_name_1" => "new_key_name_1"   ## 修改字段名字
	  "old_key_name_2" => "new_key_name_2"
	}
  }
  date {
    match => [ "test_time", "yyyy-MM-dd", "UNIX"]  ## 将 字段名为 test_time 格式为 yyyy-MM-dd 的字段转换为unix时间戳，并赋回字段(target可以给其它有或没有的字段)
	target => "test_time"
  }
  prune {  ## 指定要输出的字段，没有指定字段的，不输出那个字段
    whitelist_names => [ "offset", "add_field_1", "new_key_name_1", "test"...]
  }
}

output {
    stdout{
        codec => "rubydebug"  ##rubydebug ##输出到屏幕上
    }
}