coshise的专栏

   由于kafka topic的某一个分区只能同时被一个消费者消费，据官方介绍是因为两个消费者同时消费一个分区就不能保证单个分区消息的顺序性了。当消费者，broker，topic分区 的数目发生变化时，consumer都可能发生Rebalance操作，总结如下:1.有消费者下线，主要是消费这个长时间未向GroupCoordinator发送心跳请求，GroupCoordinator认为消费者下线2...

   最近项目中大量用到了kafka作为两个系统之间传递消息的中间件，前段时间专门买了两本介绍kafka使用和源码分析的书，最近闲下来了，想对kafka做个小结。kafka Consumer 主要是从kafka上拉取消息的客户端，其基本的使用方法如下：  Properties props = new Properties();  props.put("bootstrap.servers", "lo...

这次我们来总结一下kafka Consumer客户端从 brokers集群上拉取拉取消息的过程，首先看一下KafkaConsumer所以依赖的组件：metadata 记录了集群的元数据信息netClient表示consumer与kafka集群网络通信的组件client 是对netClient的封装，引用了netClient实例subscriptions 包含了两部分信息，SubscriptionT...

之前介绍了消费者提交offset和消费消息保持一致性，消费者group的rebalance操作以及消费者pull消息的流程，本次总结我们介绍如何通过多线程从kafka消费消息。我们知道创建kafka topic命令是可以指定分区的个数以及复制因子（也就是分区副本的个数），命令如下：#创建topickafka-topics.sh --create --zookeeper 127.0.0.1:2181...

就今天我对kafka的生产做个总结，首先我们来看一下我们来看看通过java实现kafka生产者客户端向kafka集群发送消息的通用代码：public class Producer extends Thread {    private final KafkaProducer<Integer, String> producer;    private final String topic...