python发送kafka消息

关注

原创最新推荐文章于 2026-03-23 21:48:09 发布 1.6k 阅读 AI 写同款· GEO 优化 ›

Python高效操作Kafka实战指南本文介绍了Python操作Kafka的高效实践，重点展示confluent-kafka和kafka-python两种库的使用方法。主要内容包括：基础消息发送（同步/异步）、批量处理、带Key发送、高性能配置等核心功能；以及消息头、时间戳、自定义分区、压缩等高级特性；同时涵盖事务消息、重试机制、拦截器等企业级功能。文章还详细说明了Avro数据格式在Python中的序列化/反序列化操作，包括Schema定义、文件读写、Kafka集成等场景。最后简要介绍了Kafka的核心架构原理，包括分区副本机制、高性能设计、消阅读详情

1、安装相关依赖：

pip install kafka==1.3.5

pip install kafka-python==2.0.2

2、创建kafka，参考kafka3.0版本部署及相关明令汇总_会发paper的学渣的博客-优快云博客

3、代码部分：

from kafka import KafkaProducer
from kafka.errors import kafka_errors
producer = KafkaProducer(bootstrap_servers = BROKER_LIST,  #线上环境
                         # security_protocol = 'SASL_PLAINTEXT',
                         # sasl_mechanism = 'PLAIN',
                         # sasl_plain_username='test',
                         # sasl_plain_password='test@123',
                         key_serializer = lambda k :json.dumps(k).encode('utf-8'),
                         value_serializer = lambda v :json.dumps(v).encode('utf-8'))

def send_request_user(request_users):
    print("topic user_len:{}".format(len(request_users)))
    for name,page_size in  request_users:
        try:
            partition_id = random.randint(0,4)
            future = producer.send(topic=TOPIC_NAME_MAIN,
                                   partition=partition_id,
                                   key="custId",
                                   value={"name":name,"pageSize":page_size})
            record_metadata = future.get(timeout=30)
            print("topic partition:{}, user_id :{}".format(record_metadata.partition, user))
            # logger.info(record_metadata.topic)
            #logger.info("offset value: %s" % record_metadata.offset)
        except kafka_errors as e:
            print(repr(e))


if __name__ == '__main__':
    while True:
        name= input()
        page_size = int(input())
        request_users = [(name,page_size)]
        send_request_user(request_users)

收录于