Logstash Kafka 输入插件使用指南

Logstash Kafka 输入插件使用指南

logstash-input-kafkaKafka input for Logstash项目地址:https://gitcode.com/gh_mirrors/lo/logstash-input-kafka

本指南旨在帮助您理解并使用从 GitHub 仓库 https://github.com/logstash-plugins/logstash-input-kafka.git 提供的 Logstash Kafka 输入插件。我们将详细探讨其目录结构、启动文件以及配置文件的关键元素。

1. 项目目录结构及介绍

Logstash 插件遵循特定的目录布局以便于管理和扩展。以 logstash-input-kafka 为例，其基本结构通常包括：

logstash-input-kafka
├── Gemfile              # 定义项目依赖
├── lib                  # 包含插件的核心代码
│   └── logstash         # Logstash 相关代码，如输入插件的具体实现
│       └── inputs       # 输入插件的具体目录
│           └── kafka    # Kafka 输入插件代码
├── LICENSE.txt          # 许可证文件
├── README.md            # 描述项目用途和快速入门指导
├── Rakefile             # 自动化任务脚本，比如测试
├── spec                 # 测试套件
│   └── inputs           # 输入插件的测试文件
│       └── kafka_spec.rb # Kafka 输入插件的测试
└── vendor               # 第三方库或依赖（如果有）

• Gemfile 和 Rakefile 是用于管理宝石（Ruby Gems）依赖和自动化任务的。
• lib 目录存放插件的实际实现代码。
• spec 目录包含了单元测试和集成测试，确保插件功能正常。
• README.md 提供了安装和使用的初步说明。

2. 项目的启动文件介绍

Logstash本身并没有一个特定的“启动文件”，它依赖于命令行执行。然而，当涉及到使用Kafka输入插件时，关键在于Logstash的配置文件（通常是 logstash.conf）。启动Logstash，你会通过命令行指定此配置文件路径，如下所示：

bin/logstash -f logstash.conf

• logstash.conf 是应用配置的核心，定义了输入、过滤器、输出等部分。

3. 项目的配置文件介绍

Kafka 输入插件配置示例

配置文件中对 Kafka 输入插件的基本设定可能如下：

input {
  kafka {
    bootstrap_servers => ["localhost:9092"]
    topics           => ["your-topic-name"]
    group_id         => "my-group-id"
    auto_offset_reset => "earliest"
    codec            => "json"
  }
}

output {
  # 示例输出到 stdout，实际生产环境中可能是 Elasticsearch 等
  stdout { codec => rubydebug }
}

• bootstrap_servers: Kafka brokers的地址列表。
• topics: 您希望 Logstash 消费的 Kafka 主题名。
• group_id: Kafka 消费组ID，确定如何分发消息给多个消费者。
• auto_offset_reset: 指定在没有偏移量或偏移量无效时的行为。
• codec: 定义数据的编码方式，这里使用 JSON 编码。

请注意，具体配置可能会根据版本更新有所变化，务必参考项目最新文档或版本说明进行调整。

logstash-input-kafkaKafka input for Logstash项目地址:https://gitcode.com/gh_mirrors/lo/logstash-input-kafka