Hangout 项目使用教程

Hangout 项目使用教程

hangout 用java实现一下Logstash的几个常用input/filter/output, 希望能有效率上面的大提升. 现在我们迁移到golang了 https://github.com/childe/gohangout 项目地址: https://gitcode.com/gh_mirrors/ha/hangout

1. 项目介绍

Hangout 是一个用 Java 实现的 Logstash 常用 input/filter/output 插件的替代方案。项目旨在提高处理效率，特别适用于需要处理大量日志数据的场景。Hangout 模仿了 Logstash 的配置和功能，但通过 Java 实现，提供了更高的性能和更低的 CPU 使用率。

2. 项目快速启动

2.1 环境准备

• Java 8 或更高版本
• Maven 3.x

2.2 下载项目

git clone https://github.com/childe/hangout.git
cd hangout

2.3 编译项目

mvn clean install

2.4 配置文件示例

创建一个配置文件 app.yml，内容如下：

input:
  - Stdin:
      codec: plain
      hostname: true

filter:
  - Grok:
      src: message
      match:
        - '(?<logtime>\S+) (?<user>\S+) (-|(?<level>\w+))'
      remove_fields: ['message']
      tag_on_failure: grokfail

output:
  - Stdout:
      codec: plain

2.5 运行 Hangout

bin/hangout -f app.yml

3. 应用案例和最佳实践

3.1 日志处理

Hangout 可以用于从 Kafka 消费日志数据并将其写入 Elasticsearch。以下是一个典型的配置示例：

input:
  - Kafka:
      topic: app
      consumer_settings:
        group.id: hangout
        zookeeper.connect: 192.168.1.200:2181
        auto.commit.interval.ms: "1000"
        socket.receive.buffer.bytes: "1048576"
        fetch.message.max.bytes: "1048576"
        codec: plain

filter:
  - Grok:
      src: message
      match:
        - '(?<logtime>\S+) (?<user>\S+) (-|(?<level>\w+))'
      remove_fields: ['message']
      tag_on_failure: grokfail

output:
  - Elasticsearch:
      cluster: prod
      hosts:
        - 192.168.1.100
        - 192.168.1.200:9301
      index: 'hangout-%{+YYYY.MM.dd}'
      index_type: logs
      bulk_actions: 20000
      bulk_size: 15
      flush_interval: 10
      concurrent_requests: 0
      sniff: false

3.2 性能优化

Hangout 的吞吐量是 Logstash 的 5 倍左右，CPU 使用率也显著降低。通过合理配置 Kafka 和 Elasticsearch 的参数，可以进一步优化性能。

4. 典型生态项目

4.1 Kafka

Hangout 支持从 Kafka 消费数据，Kafka 是一个高吞吐量的分布式消息系统，适用于大规模日志收集和处理。

4.2 Elasticsearch

Hangout 可以将处理后的日志数据写入 Elasticsearch，Elasticsearch 是一个分布式搜索和分析引擎，适用于实时日志分析和查询。

4.3 Logstash

虽然 Hangout 是 Logstash 的替代方案，但在某些场景下，Logstash 仍然是一个强大的工具，特别是在需要复杂数据处理和插件支持的情况下。

通过结合 Hangout 和这些生态项目，可以构建一个高效、可扩展的日志处理和分析系统。

hangout 用java实现一下Logstash的几个常用input/filter/output, 希望能有效率上面的大提升. 现在我们迁移到golang了 https://github.com/childe/gohangout 项目地址: https://gitcode.com/gh_mirrors/ha/hangout