nginx安装插件直接对接kafka集群

最新推荐文章于 2025-05-28 09:00:41 发布
转载 最新推荐文章于 2025-05-28 09:00:41 发布 · 741 阅读 · 2
文章标签：

#nginx #kafka

本文详细介绍了在CentOS环境下部署Kafka集群的过程，包括安装JDK、Scala、Zookeeper、Kafka和Nginx等软件，以及配置和启动Kafka集群的步骤。此外，还讲解了如何通过Nginx集成Kafka插件实现消息的转发。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

安装环境：
centos 6.5 64位

所需软件版本：
jdk1.8.0_171
nginx-1.12.2.tar.gz
kafka_2.11-0.10.2.1.tgz
zookeeper-3.4.5.tar.gz
scala-2.11.4.tgz

所需服务器：4台（三台安装scala、zookeeper和kafka，一台安装nginx）

【A:部署kafka集群】

	1.安装jdk
		yum install java-1.8.0-openjdk* -y
	2.安装scala
		tar -zxvf scala-2.11.4.tgz -C /usr/local/src
	3.进入Scala解压目录，进行重命名
		cd /usr/local/src
		mv scala-2.11.4 scala
	1.安装zookeeper
		tar -zxvf zookeeper-3.4.5.tar.gz -C /usr/local/src
	2.进入到zk的配置文件目录下,重命名文件夹并修改zookeeper配置文件
		cd /usr/local/src
		mv zookeeper-3.4.5 zk
		cd zk
		mv zoo_sample.cfg zoo.cfg
	3.更改zoo.cfg两个地方：
		dataDir=/usr/local/src/zk/data
		文件最后新增：
		server.0=172.27.16.13:2888:3888
		server.1=172.27.16.12:2888:3888
		server.2=172.27.16.11:2888:3888
	4.返回到zk目录下，新建data目录并进入
		mkdir data
		cd data/
	5.新建myid文件
		vi myid
	6.设置id，与server.0一样，这里第一台设置为0（3台机器，按0、1、2依次分配）
	7.在另外两台机器上重复以上步骤，唯一不同的是myid文件依次设置不同的id

	1.安装kafka上传kafka安装包并解压
		tar -zxvf kafka_2.11-0.10.2.1.tgz -C /usr/local/src
	2.更改文件夹名称
		mv kafka_2.11-0.10.2.1 kafka
	3.进入到kafka安装包config目录修改配置文件
		cd kafka/config/
		vi server.properties
		在这个版本中主要更改3个地方
		broker.id=0（3台机器，按0、1、2依次分配）
		delete.topic.enable=true（命令行删除topic【真正删除还需要在/tmp/目录下删除kafka-logs文件夹】）
		advertised.listeners=PLAINTEXT://172.27.16.12:9092（设置为本机的ip）
		zookeeper.connect=172.27.16.13:2181,172.27.16.12:2181,172.27.16.11:2181（zookeeper地址）
	4.在另外两台机器上重复以上步骤，唯一不同的是broker.id依次设置不同的id

【启动kafka集群】

		1.进入到kafka安装目录
			cd /usr/local/src/kafka/bin
		2.启动kafka
			./kafka-server-start.sh -daemon /usr/local/src/kafka/config/server.properties
		3.创建topic
			./kafka-topics.sh --create --zookeeper 172.27.16.13:2181,172.27.16.12:2181,172.27.16.11:2181 --replication-factor 1 --partitions 1 --topic track
			./kafka-topics.sh --create --zookeeper 172.27.16.13:2181,172.27.16.12:2181,172.27.16.11:2181 --replication-factor 1 --partitions 1 --topic user
		4.查看topic描述
			./kafka-topics.sh --describe --zookeeper 172.27.16.13:2181,172.27.16.12:2181,172.27.16.11:2181 --topic track
			./kafka-topics.sh --describe --zookeeper 172.27.16.13:2181,172.27.16.12:2181,172.27.16.11:2181 --topic user
		5.查看所有topic
			./kafka-topics.sh --list --zookeeper 172.27.16.13:2181,172.27.16.12:2181,172.27.16.11:2181

		6.删除topic【真正删除还需要在/tmp/目录下删除kafka-logs文件夹，然后重启kafka】
			./kafka-topics.sh --delete --zookeeper 172.27.16.13:2181,172.27.16.12:2181,172.27.16.11:2181 --topic track
		7.关闭kafka服务
			./kafka-server-stop.sh
	
		8.创建一个消费者
			./kafka-console-consumer.sh --bootstrap-server 172.27.16.13:9092,172.27.16.12:9092,172.27.16.11:9092 --topic track --from-beginning
		9.创建一个生产者
			./kafka-console-producer.sh --broker-list 172.27.16.13:9092,172.27.16.12:9092,172.27.16.11:9092 --topic track
		10.此时在生产者窗口下输入信息，消费者即可收到消息
		
		补充：
			启动一个命令行的生产者
			./kafka-console-producer.sh --broker-list 172.27.16.13:9092,172.27.16.12:9092,172.27.16.11:9092 --topic xiaoniu

			启动一个命令行的消费者
			./kafka-console-consumer.sh --zookeeper 172.27.16.13:2181,172.27.16.12:2181,172.27.16.11:2181 --topic my-topic --from-beginning

			消费者连接到borker的地址【这个和命令行消费者不同】
			./kafka-console-consumer.sh --bootstrap-server 172.27.16.13:9092,172.27.16.12:9092,172.27.16.11:9092 --topic xiaoniu --from-beginning 


	至此kafka集群安装完毕


**【B:安装nginx及kafka插件】**

	1.上传nginx安装包
	
	2.解压nginx
		tar -zxvf nginx-1.12.2.tar.gz -C /usr/local/src/
		
	3.安装git
		yum install -y git
		
	4.切换到/usr/local/src目录，然后将kafka的c客户端源码clone到本地
		cd /usr/local/src
		git clone https://github.com/edenhill/librdkafka

	5.进入到librdkafka，然后进行编译
		cd librdkafka
		yum install -y gcc gcc-c++ pcre-devel zlib-devel
		./configure
		make && make install

	6.安装nginx整合kafka的插件，进入到/usr/local/src，clone nginx整合kafka的源码
		cd /usr/local/src
		git clone https://github.com/brg-liuwei/ngx_kafka_module

	7.进入到nginx的源码包目录下（编译nginx，然后将将插件同时编译）
		cd /usr/local/src/nginx-1.12.2
		./configure --add-module=/usr/local/src/ngx_kafka_module/
		make
		make install

	8.修改nginx的配置文件
		主要修改两个地方:
		    kafka;
		    kafka_broker_list 118.25.213.188:9092 118.24.12.122:9092 118.25.213.36:9092;
		以及
		    location = /kafka/track {
			kafka_topic track;
	            }
		    #这是转发另外一个topic，可以不设置
		    location = /kafka/user {
			kafka_topic user;
		    }
	9.启动nginx
		sbin/nginx
	10.查看nginx进程
		ps -ef | grep nginx
		netstat -anpt | grep nginx

	【启动nginx，报错，找不到kafka.so.1的文件】
		error while loading shared libraries: librdkafka.so.1: cannot open shared object file: No such file or directory
			解决办法：加载so库
		echo "/usr/local/lib" >> /etc/ld.so.conf
		ldconfig

	11.启动成功后，向kafka集群发送消息测试
		curl localhost/kafka/track -d "message send to kafka track topic"


**【补充以及报错解决：】**
	kafka创建topic报错解决：
		创建topic的paration大于可用的boker：
		创建topic 指定partitions 为5  而 borker只有一个
		 ./bin/kafka-topics.sh -zookeeper idc007128:2181,idc007124:2181,idc007123:2181  -topic test -replication-factor 2 -partitions 5 -create 
		 **##问题**
		Error while executing topic command replication factor: 2 larger than available brokers: 1
		**解决：**
 -replication-factor 1  副本数为1
./bin/kafka-topics.sh -zookeeper idc007128:2181,idc007124:2181,idc007123:2181  -topic test -replication-factor 1 -partitions 1 -create  
Created topic "test".

	启动kafka报内存不足的错误
		修改kafka-server-start.sh启动参数
		export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"
【Kafka】之 nginx_kafka_module（20.1）
fanfan4569的博客
09-21 923
文章目录一、需求二、实现思路三、实现 一、需求 使用 Kafka 做日志收集。 用户点击 HTML，Nginx 用于收集用户的点击数据流，记录日志 access.log，将 Nginx 收集的日志数据发送到 Kafka 主题：tp_individual Tips: 需要收集的信息： 用户ID（user_id） 时间（act_time） 操作（action，可以是：点击：click，收藏：job_collect，投简历：cv_send，上传简历：cv_upload） 对方企业编码（job_code）
kafka集群介绍+部署Filebeat+Kafka+ELK
虫虫的博客
03-29 1626
是最初由 Linkedin 公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于 Zookeeper 协调的分布式消息中间件系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景，比如基于 hadoop 的批处理系统、低延迟的实时系统、Spark/Flink 流式处理引擎，nginx 访问日志，消息服务等等，用 scala 语言编写，消费者组中的每个消费者，都会实时记录自己消费到了哪个 offset，以便出错恢复时，从上次的位置继续消费。
ngx_kafka_module, Nginx Kafka 模块，将日志日志数据发送到 Kafka 群集.zip
10-10
ngx_kafka_module, Nginx Kafka 模块，将日志日志数据发送到 Kafka 群集 Nginx Kafka 模块 Nginx Kafka MODULE 用于接收 HTTP POST 数据并向 Kafka 传递消息。如果使用这里 MODULE 时存在任何问题，请随时向我发送邮件：)目录Nginx Kafka
nginx安装ngx_kafka_module插件直接对接kafka集群
weixin_34138377的博客
06-01 1126
2019独角兽企业重金招聘Python工程师标准>>> ...
Nginx Kafka 模块启动和配置教程
最新发布
gitblog_00212的博客
05-28 322
Nginx Kafka 模块启动和配置教程 1. 项目的目录结构及介绍 ngx_kafka_module 项目是一个用于将 Nginx 接收到的 HTTP POST 数据发送到 Kafka 集群的模块。以下是项目的目录结构： config/：包含编译 Nginx 时使用的配置文件。 src/：源代码目录，包含了模块的实现代码。 ngx_http_kafka_module.c：模块的主要实现文件...
Kafka基于nginx_kafka_module 收集日志
qq_37022492的博客
06-27 421
使用Kafka做日志收集。 需要收集的信息： 1、用户ID（user_id） 2、时间（act_time） 3、操作（action，可以是：点击：click，收藏：job_collect，投简历：cv_send，上传简历：cv_upload） 4、对方企业编码（job_code） 1、HTML可以理解为拉勾的职位浏览页面 2、Nginx用于收集用户的点击数据流，记录日志access.log 3、将Nginx收集的日志数据发送到Kafka主题：tp_individual 架构： HTML+Nginx+ngx_
nginx-kafka整合
01-23
此文档可以帮助你解决Nginx如何和Kafka整合，比较方便的方法，可以下载参考一下
storm-nginx-log:基于Kafka、Storm的nginx日志监控，采用Apache Flume收集日志
05-15
集群版(cluster branch) : 项目基于Kafka storm的实时nginx日志监控，将nginx的日志文件access.log读取并放入Kafka队列中，Storm的Spout来对接Kafka消息队列，来收集nginx服务器的状态，并在一定时间内，统计访问ip...
kafka对接Rancher日志
zing的博客
11-26 1017
kafka对接Rancher日志 文章目录kafka对接Rancher日志概述环境准备正常对接kafka集群1、helm添加bitnami库2、下载 kafka 对应的chart压缩文件3、启动kafka集群4、操作kafka集群生产者消费者5、对接Rancher logging6、验证效果开启SASL认证方式1、helm 安装kafka2、创建kafka client端3、Rancher对接Kafka4、验证效果kafka-client相关命令 概述 Rancher应用商店自带的kafka可以方便的对接R
基于Kafka-Zookeeper-Nginx-FIlebeat-MySQL的日志清洗分析平台搭建
weixin_52144789的博客
08-03 864
解释一下消息中间件：消息队列是分布式系统中重要的中间件，在实现系统高性能，高可用，可伸缩性和最终一致性架构框架中扮演着重要角色。是大型分布式系统不可缺少的核心中间件之一。kafka消息中间件：kafka是一个高吞吐的分布式消息队列系统。特点是生产者消费者模式，先进先出（FIFO）保证顺序，自己不丢数据，默认每隔7天清理数据。消息列队常见场景：系统之间解耦合、峰值压力缓冲、异步通信。日志收集、业务解耦、流量削峰允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。...
大数据开发-Nginx&Kafka-Nginx做页面采集, Kafka收集到对应Topic
Hoult丶吴邪
11-22 414
0.架构简介 模拟线上的实时流，比如用户的操作日志，采集到数据后，进行处理，暂时只考虑数据的采集，使用Html+Jquery+Nginx+Ngx_kafka_module+Kafka来实现，其中Ngx_kafka_module 是开源的专门用来对接Nginx和Kafka的一个组件。 1.需求描述 1.1 用html和jquery 模拟用户请求日志 其中包括下面下面几项： 用户id:user_id, 访问时间:act_time, 操作: (action,包括click,job_collect,cv_send,
nginx_kafka_module:nginx kafka模块-将POST请求内容保存到kafka
05-14
##声明 此模块是在 基础上改写，将原来的向单个broker发送 POST请求，改为可以向broker集群发送POST请求。 在此对brg_liuwei表示由衷的感谢。 ##Introduction This module is used to send post data from nginx to kafka. ##Installation ###1 install librdkafka git clone https://github.com/edenhill/librdkafka cd librdkafka ./configure make sudo make install ###2 compile nginx with nginx kafka module git clone https://github.com/zhangxin23/nginx_kafka_module c
Nginx整合Kafka的方法示例
09-30
主要介绍了Nginx整合Kafka的方法示例，nginx整合kafak后，可以将nginx中的数据，直接保存到kafka中，感兴趣的小伙伴们可以参考一下
【Kafka集群搭建，包括docker整合kafka、zookeeper、nginx部署】
qq_45442178的博客
06-12 718
Topic 是一个逻辑概念，Partition 是最小的存储单元，掌握着一个 Topic 的部分数据。Kafka为了到达高可用，每个分区(Partition)都会多个副本，其中有且仅有一个作为leader,leader负责当前消息的读写Partition。docker run -it -d --name 要取的别名 -p 宿主机端口:容器端口 -v 宿主机文件存储位置:容器内文件位置。ISR，In-Sync Replicas，是指及时副本同步列表，消息同步的频率或者时效达到一定要求副本。
安装nginx-kafka插件ngx_kafka_module笔记
weixin_34014555的博客
05-26 490
2019独角兽企业重金招聘Python工程师标准>>> ...
nginx和nginx kafka插件
Master_chaoAndQi的博客
09-02 574
文章目录一 nginx 安装1.1 nginx与nginx kafka插件下载1.2 nginx kafka下载编译1.2.1 直接clone到本地再上传上去（或者使用git 克隆）1.2.1.1 克隆librdkafka对应的依赖到本地1.2.1.2 克隆Nginx Kafka Module对应的依赖到本地1.3 进入到librdkafka-master目录1.4 进入到nginx源码目录1....
推荐开源项目：Nginx Kafka Module - 高效的HTTP到Kafka数据传输解决方案
gitblog_00047的博客
06-03 641
推荐开源项目：Nginx Kafka Module - 高效的HTTP到Kafka数据传输解决方案 项目介绍 Nginx Kafka Module是一个用于接收HTTP POST数据并将其发送至Apache Kafka的Nginx扩展模块。由brg-liuwei开发并维护，这个模块让HTTP服务器与分布式流处理平台Kafka之间的数据交换变得简单高效。如果你需要在你的Web应用中无缝集成消息队列，...
安装nginx-kafka插件
suveng's blog
09-01 6902
安装nginx-kafka插件 nginx可以直接把数据写到kafka里面去。 1.安装git yum install -y git 2.切换到/usr/local/src目录，然后将kafka的c客户端源码clone到本地 cd /usr/local/src git clone https://github.com/edenhill/librdkafka...
imwebsocket前后端对接
03-26
<think>好的，我现在需要解决用户关于IMWebSocket前后端对接的问题。首先，用户希望得到实现方案和示例代码。根据用户提供的引用资料，特别是引用[1]和[3]，后端接口的编写和通信方式是需要重点关注的。 首先，我得回忆一下WebSocket的基本概念。WebSocket是一种全双工通信协议，适用于实时应用，比如IM。与HTTP不同，它允许服务器主动推送消息，这对即时通讯来说非常关键。接下来，我需要确定前后端对接的具体步骤。 第一步，用户提到了IMWebSocket，可能是指基于WebSocket的即时通讯系统。我需要考虑如何设计前后端的接口。根据引用[2]，接口的URL结构通常是类似/api/v1/...，所以WebSocket的URL可能设计为ws://或wss://开头的地址，比如ws://localhost:8080/im/ws，这样符合RESTful风格。 接下来，后端实现方面，用户可能需要使用Java，因为引用[3]中的示例用了Java的Servlet和PrintWriter。Spring Boot提供了对WebSocket的支持，可以通过@ServerEndpoint注解来创建WebSocket端点。需要添加依赖，比如spring-boot-starter-websocket，并配置一个ServerEndpointExporter的Bean。同时，需要处理连接建立、接收消息、处理错误和连接关闭的事件。在代码示例中，使用@OnOpen、@OnMessage等注解来标注处理方法，这样用户能清晰看到每个阶段的处理逻辑。 然后，前端部分，用户可能使用JavaScript，因为引用[1]提到前后端分离，前端通常用JS。需要创建WebSocket对象，并定义onopen、onmessage等事件处理函数。发送消息使用send方法，这样前后端就可以双向通信了。前端示例代码需要简洁，展示如何连接、发送消息和处理接收的消息。 另外，用户可能需要处理消息格式。通常IM系统使用JSON，比如包含发送者、接收者、内容、类型和时间戳。这样可以扩展不同类型的消息，比如文本、图片等。引用[4]提到了腾讯COS的SDK对接，虽然不直接相关，但可能暗示用户在处理文件上传时需要结合其他服务，这里可能需要扩展说明，但当前问题主要围绕WebSocket，所以暂时不提。 对接中的常见问题，比如跨域和安全性。跨域问题可以通过后端配置CORS解决，或者使用Nginx反向代理。引用[2]中的URL结构可能涉及版本控制，但WebSocket通常不需要版本，不过保持一致性也是好的。安全性方面，使用wss协议，并且结合身份验证，比如在连接时传递Token，如URL参数中带token，后端验证后建立连接，这引用了类似引用[2]中的URL参数设计。 性能方面，需要考虑WebSocket连接的并发处理，可能涉及集群部署，但用户的问题可能暂时不需要深入，所以保持基础方案即可。引用[3]中的内网穿透工具如NATAPP，可能用于测试环境，让前端能够访问本地后端服务，这可以作为部署测试的建议。 最后，生成相关问题，需要围绕实现中的关键点，比如身份验证、消息持久化、集群部署和心跳机制。这些是用户在实现基础功能后可能遇到的进阶问题，帮助用户进一步深入。 总结，回答的结构需要分步骤，前后端分别说明，给出代码示例，注意事项，以及相关问题。确保使用正确的LaTeX格式，如独立公式用$$，行内用$，但在这里可能用不上数学公式，但需要检查是否有变量需要格式化。引用标记要自然添加，比如在提到接口设计时引用[2]，提到后端接口问题时引用[1]和[3]。</think>### IMWebSocket前后端对接实现方案 #### 1. **核心通信流程** - **协议选择**：使用WebSocket协议（`ws://`或`wss://`）替代HTTP，支持全双工实时通信。 - **接口设计**：后端需暴露WebSocket连接端点，例如： `ws://your-domain.com/im/ws`（开发环境可设为`ws://localhost:8080/im/ws`）[^2]。 - **消息格式**：建议采用JSON统一格式，例如： ```json { "from": "user123", "to": "group456", "content": "Hello", "type": "text", "timestamp": 1620000000 } ``` #### 2. **后端实现（Spring Boot示例）** **步骤1：添加依赖** ```xml <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-websocket</artifactId> </dependency> ``` **步骤2：配置WebSocket端点** ```java @Configuration @EnableWebSocket public class WebSocketConfig implements WebSocketConfigurer { @Override public void registerWebSocketHandlers(WebSocketHandlerRegistry registry) { registry.addHandler(imWebSocketHandler(), "/im/ws") .setAllowedOrigins("*"); // 允许跨域 } @Bean public WebSocketHandler imWebSocketHandler() { return new IMWebSocketHandler(); } } ``` **步骤3：实现消息处理逻辑** ```java public class IMWebSocketHandler extends TextWebSocketHandler { private static final Map<String, WebSocketSession> sessions = new ConcurrentHashMap<>(); @Override public void afterConnectionEstablished(WebSocketSession session) { String userId = extractUserId(session); // 从URL参数或Header获取用户ID sessions.put(userId, session); } @Override protected void handleTextMessage(WebSocketSession session, TextMessage message) { JSONObject msg = parseJson(message.getPayload()); String target = msg.getString("to"); WebSocketSession targetSession = sessions.get(target); if (targetSession != null && targetSession.isOpen()) { targetSession.sendMessage(message); } } private JSONObject parseJson(String payload) { return new JSONObject(payload); } } ``` #### 3. **前端实现（JavaScript示例）** ```javascript const socket = new WebSocket('ws://localhost:8080/im/ws?token=USER_TOKEN'); // 连接建立 socket.onopen = () => { console.log('WebSocket连接已建立'); socket.send(JSON.stringify({ type: "auth", token: "USER_TOKEN" })); }; // 接收消息 socket.onmessage = (event) => { const message = JSON.parse(event.data); console.log('收到消息:', message); }; // 发送消息 function sendMessage(content, receiver) { const msg = { from: "currentUser", to: receiver, content: content, type: "text", timestamp: Date.now() }; socket.send(JSON.stringify(msg)); } ``` #### 4. **对接注意事项** - **身份验证**：建议通过URL参数（如`token`）或首条消息验证用户身份。 - **消息持久化**：若需离线消息支持，需将消息存储至数据库（如Redis或MySQL）。 - **心跳机制**：定时发送心跳包维持连接，例如每30秒发送`{ "type": "ping" }`。 - **错误处理**：监听`onerror`和`onclose`事件，实现重连逻辑。 #### 5. **扩展优化** - **文件传输**：结合对象存储服务（如腾讯COS[^4]），上传文件后发送文件URL。 - **集群部署**：使用Redis Pub/Sub或消息队列（如Kafka）实现多节点间消息同步。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值