Nginx Kafka 模块启动和配置教程

Nginx Kafka 模块启动和配置教程

ngx_kafka_module nginx kafka module, send post log data to kafka cluster 项目地址: https://gitcode.com/gh_mirrors/ng/ngx_kafka_module

1. 项目的目录结构及介绍

ngx_kafka_module 项目是一个用于将 Nginx 接收到的 HTTP POST 数据发送到 Kafka 集群的模块。以下是项目的目录结构：

• config/：包含编译 Nginx 时使用的配置文件。
• src/：源代码目录，包含了模块的实现代码。
  • ngx_http_kafka_module.c：模块的主要实现文件。
• .gitignore：指定 Git 忽略的文件。
• LICENSE：项目的许可证文件，本项目采用 BSD 许可。
• README.md：项目说明文件，包含项目的安装和使用说明。
• travis.yml：Travis CI 的配置文件，用于自动化测试。

2. 项目的启动文件介绍

ngx_kafka_module 不是一个独立的程序，而是作为一个模块集成到 Nginx 中。因此，启动该模块实际上是启动 Nginx 服务。

• 首先，确保你的系统中已经安装了 Nginx 以及对应的开发工具和 librdkafka 库。
• 将模块编译进 Nginx。如果是以静态模块的方式编译，可以在 Nginx 的配置阶段使用 --add-module 参数指向模块的路径。
• 如果以动态模块的方式编译，则使用 --add-dynamic-module 参数。

编译完成后，使用以下命令启动 Nginx：

sudo nginx

或者，如果你编译了动态模块，需要先加载模块：

sudo nginx -c /path/to/nginx.conf -s reload

3. 项目的配置文件介绍

ngx_kafka_module 需要在 Nginx 的配置文件中进行配置才能生效。以下是配置文件的主要部分：

• kafka;：开启 Kafka 模块。
• kafka_broker_list：指定 Kafka 集群的地址，格式为 host:port，可以指定多个地址。
• 在 server 块中，为特定的 location 指定 Kafka 主题：

http {
    # 其他配置...

    kafka;
    kafka_broker_list 127.0.0.1:9092 127.0.0.1:9093; # Kafka 集群地址

    server {
        # 其他配置...

        location = /your/path/topic {
            kafka_topic your_topic; # Kafka 主题
            # 可选指令：kafka_partition
            # kafka_partition auto; # 默认值
            # kafka_partition 0;
            # kafka_partition 1;
        }
    }
}

配置完成后，重新加载 Nginx 配置文件以应用更改：

sudo nginx -s reload

现在，你可以使用 curl 命令向配置的 location 发送 POST 请求，数据将被发送到 Kafka 集群对应的主题中：

curl localhost/your/path/topic -d "message send to kafka topic"

如果消息成功发送，curl 将返回 HTTP 状态码 204 (No Content)。

ngx_kafka_module nginx kafka module, send post log data to kafka cluster 项目地址: https://gitcode.com/gh_mirrors/ng/ngx_kafka_module