python kafka写入.net平台消费延迟5秒问题解决

最新推荐文章于 2024-12-06 10:46:18 发布

原创

最新推荐文章于 2024-12-06 10:46:18 发布 · 959 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#kafka #python

在测试环境中，通过Python的pykafka库发送消息到Kafka，.NET平台的Confluent.Kafka消费者发现存在5秒延迟的问题。当Python生产者初始化时设置sync=True，会导致每5秒批量处理一次数据。解决方法是将sync参数设为True，确保同步处理，从而消除延迟现象。

测试环境，使用python的pykafka写入消息数据，.net Confluent.Kafka进行消费，中间发现，间隔一秒发送会延迟5秒做批处理。

python代码：

from pykafka import KafkaClient
import datetime
import threading
import time


def producer():
    client = KafkaClient(hosts="172.26.1.22:9092", broker_version='2.4')
    topicdocu = client.topics["251z_37"]
    producer = **topicdocu.get_producer()**

    for num in