Kafka
关注
分享
扫一扫
文章平均质量分 93
专业WP网站开发-Joyous
After graduation, I started working in the graphic design industry and later switched to Java software development. I have worked in companies such as Huawei and Ping An, with experience in front-end/back-end development. I have also worked in Google SEO and Wordpress related development.
展开
-
Kafka 消费者状态及高水位（High Watermark）详解
Kafka 消费者负责从 Kafka 的分区中读取消息。消费者可以独立工作，也可以以消费者组（Consumer Group）的形式进行消费。在消费者组中，Kafka 会确保每个分区仅被一个消费者消费，以防止数据重复消费。消费者组的分区分配是动态的，如果消费者加入或离开消费者组，Kafka 会进行重平衡（Rebalance）以重新分配分区。了解消费者的工作状态对于监控 Kafka 系统的健康和确保消息消费的正确性至关重要。原创 2024-09-29 10:24:15 · 1735 阅读 · 2 评论 -
Kafka 的重平衡问题详解及解决方案
重平衡（Rebalance）是 Kafka 在消费者组内部重新分配分区（Partition）的过程。Kafka 的消费者组是一个逻辑概念，它允许多个消费者实例（Consumer）共同消费一个或多个主题（Topic）的分区。每个分区只能被一个消费者组中的一个消费者消费。因此，重平衡的目的是确保分区在消费者组中的消费者之间合理分配。Kafka 提供了多种分区分配策略，但在某些业务场景中，开发者可以根据需求实现自定义的分区分配策略，确保分区分配的灵活性和均衡性。// 实现自定义分区分配策略@Override。原创 2024-09-29 10:23:56 · 2221 阅读 · 0 评论