Filebeat、Logstash和Fluentbit -- Kafka

1. Filebeat

详细分析

• 轻量级：Filebeat 使用 Go 语言编写，占用资源少，适合在资源受限的环境中运行。它通过轻量级的采集器（Harvester）读取日志文件，并将日志数据发送到指定的输出端。
• 简单易用：配置文件简单明了，主要包含输入（input）和输出（output）两部分。支持多种输入源，如文件、管道等，也支持多种输出端，如 Kafka、Elasticsearch、Logstash 等。
• 灵活性：虽然 Filebeat 本身功能相对简单，但可以通过配置文件灵活地指定多个输出端，支持数据的多路分发。

优化建议

• 资源优化：
  • 调整 filebeat.yml 配置文件中的 harvester_limit 和 close_inactive 参数，控制同时打开的文件句柄数量和文件的关闭时间，减少资源消耗。
  • 使用 filebeat.registry_file 参数指定注册表文件的位置，确保 Filebeat 能够正确记录已读取的日志文件位置，避免重复读取。
• 性能优化：
  • 启用 filebeat.prospector.flush_interval 参数，控制数据的批量发送间隔，减少网络请求次数。
  • 使用 filebeat.output.kafka 配置中的 bulk_max_size 参数，控制每次发送到 Kafka 的消息批量大小，提高传输效率。
• 可靠性优化：
  • 启用 filebeat.ack_counts 参数，确保 Filebeat 在收到 Kafka 的确认后才标记日志为已发送，避免数据丢失。
  • 使用 filebeat.output.kafka.required_acks 参数，设置 Kafka 的确认机制，确保数据的可靠性传输。

2. Logstash

详细分析

• 强大的数据处理能力：Logstash 提供了丰富的插件，支持数据的过滤、转换、解析和 enrich