logstash kafka output 输出原始数据格式

最新推荐文章于 2025-01-25 09:42:45 发布

xueba207

最新推荐文章于 2025-01-25 09:42:45 发布

阅读量1.1w

点赞数 3

CC 4.0 BY-SA版权

分类专栏：杂项文章标签： logstash

本文链接：https://blog.youkuaiyun.com/xueba207/article/details/78482909

本文介绍了如何使用Logstash从Kafka主题读取消息并将其转发到另一个Kafka集群的Topic中。在初始配置中，输出的消息前会添加时间和主机信息。通过添加`codec plain`并指定`message`格式，成功解决了这一问题，实现了原始数据的正确输出。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

有个场景需要从kafka topic中读出message，然后转到另一个kakfa集群的topic中，为省事就用了logstash。
配置如下：

input {
  kafka {
    bootstrap_servers => 'client1:9092,client2:9092'
    group_id => 'mygroup'
    topics => ["topic-info"]
    codec => 'plain'
  }
}
output {
  #stdout { codec => rubydebug }
  kafka {
    bootstrap_servers => 'client1:9092,client2:9092'
    topic_id => 'topic-out'
    codec => plain 
  }
}

但消息输出：