confluent-kafka

原创 已于 2025-01-11 17:52:12 修改 · 1k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#kafka

于 2024-09-02 20:47:29 首次发布

confluent-kafka

pip3 install confluent-kafka

Producer 生产

在这里插入图片描述

Consumer消费

在这里插入图片描述

Kafka 生产者和消费者配置及优化建议

Kafka 生产者配置及优化
1. 生产者配置
from confluent_kafka import Producer

# Kafka 配置
config = {
    'bootstrap.servers': '10.10.x.x:3082',
    'security.protocol': 'SASL_PLAINTEXT',
    'sasl.mechanism': 'SCRAM-SHA-512',
    'sasl.username': 'kafka-974a3a34-bpxuser1',
    'sasl.password': 'zjavIj4OPZNV2vALc2F>zesn8izaHEYP(ZK0IETrtKrMR5w+gUNpL60xkGhX3ca9'  # 请替换为您的实际密码
}

# 创建生产者实例
producer = Producer(**config)

# 异步发送消息
def delivery_report(err, msg):
    if err is not None:
        print('Message delivery failed: {}'.format(err))
    else:
        print('Message delivered to {} [{}]'.format(msg.topic(), msg.partition()))

# 发送消息
for _ in range(10):
    producer.produce('bpx', 'Hello, Kafka!', callback=delivery_report)  # 替换Topic

# 等待消息被发送
producer.flush()
2. 错误信息 BufferError: Local: Queue full 的解决方法

  • 检查 Kafka 集群状态：

    • 确保 Kafka 集群运行正常，并且没有分区不可用或者 broker 宕机的情况。
    • 使用 kafka-topics.sh 命令检查主题状态：
      kafka-topics.sh --describe --topic <topic-name> --bootstrap-server <broker-address>

  • 增加生产者队列大小：

    • 在创建 Kafka 生产者时，可以通过设置 buffer_memory 配置项来增加队列大小。例如：
      producer = Producer({
    'bootstrap.servers': '10.10.x.x:3082',
    'security.protocol': 'SASL_PLAINTEXT',
    'sasl.mechanism': 'SCRAM-SHA-512',
    'sasl.username': 'kafka-974a3a34-bpxuser1',
    'sasl.password': 'zjavIj4OPZNV2vALc2F>zesn8izaHEYP(ZK0IETrtKrMR5w+gUNpL60xkGhX3ca9',
    'buffer.memory': 33554432  # 32MB
})

  • 减少消息发送频率：

    • 检查代码中的消息发送逻辑，尝试降低消息发送的频率。例如，可以使用 time.sleep 减少发送频率：
      import time

for _ in range(10):
    producer.produce('bpx', 'Hello, Kafka!', callback=delivery_report)
    time.sleep(0.1)  # 每次发送间隔0.1秒

  • 优化消息大小：

    • 如果可能，减小单个消息的大小，这样可以在相同的队列容量下容纳更多的消息。

  • 增加分区数量：

    • 为 Kafka 主题增加更多的分区，可以提高 Kafka 集群处理消息的能力。使用 kafka-topics.sh 命令增加分区数量：
      kafka-topics.sh --alter --topic <topic-name> --partitions <new-partition-count> --bootstrap-server <broker-address>

  • 检查和优化网络：

    • 确保生产者和 Kafka 集群之间的网络连接没有问题，网络延迟或丢包可能会影响消息发送。
    • 使用 ping 和 traceroute 检查网络延迟和路径：
      ping -c 10 <broker-ip>
traceroute <broker-ip>

  • 监控 Kafka 性能：

    • 使用 Kafka 的监控工具（如 JMX Exporter, Prometheus, Grafana 等）来监控 Kafka 集群的性能，找出瓶颈所在。

  • 调整批处理设置：

    • Kafka 生产者默认会将多个消息批次合并后再发送，以提高效率。可以通过调整 batch.size 和 linger.ms 配置项来优化这一行为：
      producer = Producer({
    'bootstrap.servers': '10.10.x.x:3082',
    'security.protocol': 'SASL_PLAINTEXT',
    'sasl.mechanism': 'SCRAM-SHA-512',
    'sasl.username': 'kafka-974a3a34-bpxuser1',
    'sasl.password': 'zjavIj4OPZNV2vALc2F>zesn8izaHEYP(ZK0IETrtKrMR5w+gUNpL60xkGhX3ca9',
    'batch.size': 16384,  # 16KB
    'linger.ms': 100  # 100毫秒
})

  • 检查回调函数：

    • 如果使用了回调函数 delivery_report，请确保它能够快速执行完毕，避免阻塞消息队列。

  • 重启生产者实例：

    • 如果以上方法都不能解决问题，可以尝试重启 Kafka 生产者实例，清空积压的消息。
Kafka 消费者配置及优化
1. 消费者配置
from confluent_kafka import Consumer

# Kafka 配置
config = {
    'bootstrap.servers': '10.10.x.x:3082',
    'security.protocol': 'SASL_PLAINTEXT',
    'sasl.mechanism': 'SCRAM-SHA-512',
    'sasl.username': 'kafka-974a3a34-bpxuser1',
    'sasl.password': 'zjavIj4OPZNV2vALc2F>zesn8izaHEYP(ZK0IETrtKrMR5w+gUNpL60xkGhX3ca9',
    'group.id': 'my-python-group'  # 添加 group.id 配置项
}

# 创建消费者实例
consumer = Consumer(**config)
consumer.subscribe(['bpx'])  # 替换Topic

try:
    while True:
        msg = consumer.poll(1.0)  # 等待消息，超时为1秒

        if msg is None:
            continue
        if msg.error():
            if msg.error().code() == KafkaError._PARTITION_EOF:
                # End of partition event
                print('End of partition reached {0}/{1}'.format(msg.topic(), msg.partition()))
            elif msg.error():
                raise KafkaException(msg.error())
        else:
            print('Received message: {}'.format(msg.value().decode('utf-8')))
finally:
    # 关闭消费者连接
    consumer.close()
2. 消费者优化建议

  • 调整 fetch.min.bytes 和 fetch.max.wait.ms：

    • fetch.min.bytes：消费者从服务器获取数据的最小字节数。增加这个值可以减少网络请求的次数，但可能会增加延迟。
    • fetch.max.wait.ms：服务器在响应消费者请求之前等待更多数据的最长时间。增加这个值可以提高吞吐量，但可能会增加延迟。
    consumer = Consumer({
    'bootstrap.servers': '10.10.x.x:3082',
    'security.protocol': 'SASL_PLAINTEXT',
    'sasl.mechanism': 'SCRAM-SHA-512',
    'sasl.username': 'kafka-974a3a34-bpxuser1',
    'sasl.password': 'zjavIj4OPZNV2vALc2F>zesn8izaHEYP(ZK0IETrtKrMR5w+gUNpL60xkGhX3ca9',
    'group.id': 'my-python-group',
    'fetch.min.bytes': 1048576,  # 1MB
    'fetch.max.wait.ms': 500  # 500毫秒
})

  • 调整 max.poll.records：

    • max.poll.records：每次 poll 调用返回的最大记录数。增加这个值可以提高吞吐量，但可能会增加内存使用量。
    consumer = Consumer({
    'bootstrap.servers': '10.10.x.x:3082',
    'security.protocol': 'SASL_PLAINTEXT',
    'sasl.mechanism': 'SCRAM-SHA-512',
    'sasl.username': 'kafka-974a3a34-bpxuser1',
    'sasl.password': 'zjavIj4OPZNV2vALc2F>zesn8izaHEYP(ZK0IETrtKrMR5w+gUNpL60xkGhX3ca9',
    'group.id': 'my-python-group',
    'max.poll.records': 500  # 每次poll返回500条记录
})

  • 自动提交偏移量：

    • enable.auto.commit：是否自动提交偏移量。自动提交可以简化代码，但可能会导致消息重复消费。
    • auto.commit.interval.ms：自动提交偏移量的间隔时间。
    consumer = Consumer({
    'bootstrap.servers': '10.10.x.x:3082',
    'security.protocol': 'SASL_PLAINTEXT',
    'sasl.mechanism': 'SCRAM-SHA-512',
    'sasl.username': 'kafka-974a3a34-bpxuser1',
    'sasl.password': 'zjavIj4OPZNV2vALc2F>zesn8izaHEYP(ZK0IETrtKrMR5w+gUNpL60xkGhX3ca9',
    'group.id': 'my-python-group',
    'enable.auto.commit': True,
    'auto.commit.interval.ms': 1000  # 每1000毫秒自动提交一次
})

  • 手动提交偏移量：

    • 如果需要更精细的控制，可以手动提交偏移量，确保消息处理完成后才提交偏移量。
    try:
    while True:
        msg = consumer.poll(1.0)

        if msg is None:
            continue
        if msg.error():
            if msg.error().code() == KafkaError._PARTITION_EOF:
                print('End of partition reached {0}/{1}'.format(msg.topic(), msg.partition()))
            elif msg.error():
                raise KafkaException(msg.error())
        else:
            print('Received message: {}'.format(msg.value().decode('utf-8')))
            consumer.commit(msg)  # 手动提交偏移量
finally:
    consumer.close()

  • 处理消费者组再平衡：

    • 消费者组再平衡可能会导致消息重复消费或丢失。可以通过设置 session.timeout.ms 和 heartbeat.interval.ms 来优化再平衡过程。
    consumer = Consumer({
    'bootstrap.servers': '10.10.x.x:3082',
    'security.protocol': 'SASL_PLAINTEXT',
    'sasl.mechanism': 'SCRAM-SHA-512',
    'sasl.username': 'kafka-974a3a34-bpxuser1',
    'sasl.password': 'zjavIj4OPZNV2vALc2F>zesn8izaHEYP(ZK0IETrtKrMR5w+gUNpL60xkGhX3ca9',
    'group.id': 'my-python-group',
    'session.timeout.ms': 30000,  # 30秒
    'heartbeat.interval.ms': 10000  # 10秒
})

总结

通过以上配置和优化建议，可以进一步提高 Kafka 生产者和消费者的性能和稳定性。确保在实际应用中根据具体情况进行调整和优化，以达到最佳的性能表现。

Kafka-Confluent平台
孟孟的博客
03-22 2605
Confluent 官网：https://docs.confluent.io/platform/current/platform.html Confluent是用来管理和组织不同数据源的流媒体平台，可以实时地把不同源和位置的数据集成到一个中心的事件流平台。并且很可靠、性能很高。 Confluent目前提供了社区版（免费）和商业版（收费）两个版本，社区版提供了Connectors、REST Proxy、KSQL、Schema-Registry等基础服务。商业版为企业提供了控制面板、负载均衡，跨中心数据备
confluent-kafka 模块生产数据消费数据
weixin_42467874的博客
03-07 1186
kafka是一个开源的流处理平台，一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。
confluent-kafka-python:Confluent的Kafka Python客户端
04-12
Confluent的适用于Apache Kafka TM的Python客户端 confluent-kafka-python提供了与所有兼容的高级Producer，Consumer和AdminClient 经纪人> = v0.8， 和。 客户是： 可靠-它是 （通过二进制车轮自动提供）的包装，已在各种生产场景中广泛部署。 它使用Java客户端，。 它由支持。 性能-性能是关键的设计考虑因素。 对于较大的消息大小（Python解释器的开销影响较小），最大吞吐量与Java客户端相当。 延迟与Java客户端相当。 面向未来-由Kafka的创建者创建的Confluent，正在构建一个以Apache Kafka为核心的。 对于我们来说，将客户端功能与核心Apache Kafka和组件保持同步是当务之急。 有关更多信息，请参见。 用法 以下是一些典型用法示例。 有关更多示例，请参阅目录或Conf
Kafka Python客户端配置优化秘籍（性能提升80%的幕后细节）
最新发布
QuickDebug的博客
10-04 603
掌握Kafka Python客户端配置优化技巧，显著提升消息处理性能。适用于高并发场景，通过调整批处理大小、压缩算法与会话超时参数，实现性能提升80%。关键配置细节全解析，值得收藏。
Confluent.Kafka源代码+Test
06-09
Confluent.Kafka源代码 测试单元 Confluent.kafka是一款C#客户端的kafka API
confluent-kafka入门教程
编程随手记
04-15 1347
注意：建议为长时间处理应用程序设置 enable.auto.offset.store=false，然后在消息处理后显式存储偏移（使用 offsets_store（）），以确保在处理完成之前不会自动提交偏移。: 默认值为5ms, 在将消息发送前，等待生产者队列中的消息累积以构建消息批次（消息集）的毫秒级延迟。： 用于认证的SASL机制， 支持“GSSAPI, PLAIN, SCRAM-SHA-256, SCRAM-SHA-512, OAUTHBEARER”， 默认为“GSSAPI”此设置由高级消费者使用。
Hello Kafka（八）——Confluent Kafka简介
天山老妖
02-24 9791
一、Confluent Kafka简介 1、Confluent Kafka简介 2014年，Kafka的创始人Jay Kreps、NahaNarkhede和饶军离开LinkedIn创立Confluent公司，专注于提供基于Kafka的企业级流处理解决方案，并发布了Confluent Kafka。Confluent Kafka分为开源版和企业版，企业版收费。 2、Confluent Kafka特性 Confluent Kafka开源版特性如下： （1）Confluent Kafka Connecto
PyPI 官网下载 | confluent-kafka-amine-1.4.2.1.tar.gz
01-10
《PyPI上的Confluent-Kafka-Amine 1.4.2.1：Python库的高效消息传递解决方案》 在Python编程中，有许多强大的库帮助开发者实现各种功能，其中之一便是Confluent-Kafka-Amine。这个库是Confluent Kafka的Python绑定...
精选资源
confluent-kafka-go-producer-example：基于Confluent的Kafka Go库的Kafka生产者示例
02-14
概述 本存储库包含Kafka生产者的示例性实现。 该实现基于Confluent Kafka Go库和Confluent的示例实现的略微扩展，可以在找到。... confluent-kafka-go-producer-example-amd64 -c config.yaml process
开源项目-confluentinc-confluent-kafka-go.zip
10-17
开源项目-confluentinc-confluent-kafka-go.zip是一个与Kafka相关的开源项目，由Confluent公司提供，专门针对Go语言开发的客户端库。这个项目使得Go开发者能够方便地集成和使用Apache Kafka，一个高性能、分布式的...
使用confluent安装kafka
蓝海风的博客
01-12 6074
confluent简介 confluent是平台化的工具，封装了kafka，让我们可以更方便的安装和使用监控kafka，作用类似于CDH对于Hadoop。 confluent是由LinkedIn开发出Apache Kafka的团队成员，基于这项技术创立了新公司Confluent，Confluent的产品也是围绕着Kafka做的。基本架构如下： 官网https://www.confluent....
kafka消费者 confluent_kafka
叁木大数据
05-05 3286
python之kafka消费者——confluent-kafka一、版本二、需求概述 一、版本 kafka:2.5.0 python:3.6.1 confluent-kafka:1.5.0 confluent-avro:1.5.0 avro-python3:1.9.1 二、需求概述 前置条件：使用kafka connect 消费kafka 数据写入hive 表。 前端会有一个写入状态表，告诉我们什么时候写完，但是遇到问题是，我们会拉取该状态表然后会立马启动一个处理程序去处理hive表的数据。 ...
python --kafka（二）: confluent-kafka 模块生产数据消费数据
qq_33624802的博客
12-01 8732
文章目录前言一、confluent-kafka 是什么？二、使用步骤1.引入库2.消费数据2.1 初始化consumer对象2.2 消费数据偏移量3. 生产数据总结 前言 kafka是一个开源的流处理平台，一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。 一、confluent-kafka 是什么？ confluent-kafka 模块 confluent-kafka是Python模块，推荐使用，性能优于kafka-python 参考文档：https://docs.c
kafka干货（五）：kakfka的python客户端----Confluent-kafka
桃花惜春风
08-25 1万+
Confluent-kafka是由Confluent公司维护的一个kafka-client，同产品下还有c/c++，java、Go、.net和JMS。它是企业级支持的一款产品。 coufluent-kafka是Python模块，是对librdkafka的轻量级封装，librdkafka又是基于c/c++的kafka库，性能上不必多说。使用上要优于kafka-python。 参考：...
Kafka Confluent 简介
热门推荐
石权的博客
04-29 1万+
Apache Kafka 消息分发组件，数据采集后先入Kafka。 Schema Registry Schema管理服务，消息出入kafka、入hdfs时，给数据做序列化/反序列化处理。 Kafka Connect 提供kafka到其他存储的管道服务，此次焦点是从kafka到hdfs，并建立相关HIVE表。 Kafka Rest Proxy 提供kafka的Rest API服务。 Kafk
kafka - Confluent.Kafka
weixin_30955617的博客
04-11 976
上个章节我们讲了kafka的环境安装（这里），现在主要来了解下Kafka使用，基于.net实现kafka的消息队列应用，本文用的是Confluent.Kafka，版本0.11.6 1、安装： 在NuGet程序包中搜索“Confluent.Kafka”下载安装即可 2、producer发送消息： 1 using System; 2 using System.Collect...
Kafka系列（七）、Kafka套件 Confluent Platform 单机/集群部署
王义凯 的博客
09-24 4673
Confluent 由kafka的核心成员成立，目前最新版Confluent为v5.5.1版本，对应的kafka版本为Apache Kafka_v2.5.0，在Confluent中不仅包含了kafka，还有下面几个组件，增强了kafka的功能也大大提升了kafka的易用性。 KSQL：通过SQL查询topic内的数据； Confluent Connetors：支持配置HDFS，Cassandra，MySQL，Oracle，Postgre，MongoDB，Kudu等数据源的source和sink； Conf
深入理解Confluent.Kafka: C#客户端库的源代码和测试
weixin_42465332的博客
05-29 1090
Apache Kafka是一种分布式流处理平台，它被广泛用于构建实时数据管道和流应用程序。作为一种发布-订阅消息系统，Kafka能处理高吞吐量的实时数据流，并以高可靠性存储和传输数据。在本章中，我们将概述Kafka的基本概念和架构，为后续章节的深入探讨打下基础。Confluent.Kafka是Apache Kafka的一个C#客户端库，它由Confluent公司维护，提供了与Kafka集群进行交互的全面支持。
python-kafka confluent-kafka 比较
07-19
在比较 `python-kafka` 和 `confluent-kafka` 这两个 Python 客户端库时，可以从功能、性能、易用性和生态系统支持等多个维度进行分析。 ### 功能支持 `python-kafka` 是一个纯 Python 实现的 Kafka 客户端，支持 ...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值