Admire_an的专栏

可靠性保证 kafka在哪些方面做出保证呢？ 单生产者，kafka可以保证顺序消费 只有当写入的消息被写入所有的副本时，才认为是“已提交”的 只要有一个活跃的分区副本，那么，已提交的数据就不会丢失。 消费者只能读取已经提交的消息 如何保证topic元数据信息安全 replication.factor配置topic的复制系数 所有的分区副本都没有正常同步，分区首领又挂掉了，如何做选举？ 方案有两...

集群成员关系 Kafka使用 Zookeeper来维护集群成员的信息. 每个broker都有唯一的标识符，可以配置指定，也可以自动生成。 在broker启动时，他通过创建临时节点把自己注册到zk。 broker订阅zk的/brokers/ids路径，当有broker加入或者退出集群时，这些组件可以获得通知。 在关闭 broker时，它对应的节点也会消失，不过它的 ID会继续存在于其他数据结构中。例...

//组唯一id public static final String GROUP_ID_CONFIG = "group.id"; //控制单次调用call()返回的记录数量 public static final String MAX_POLL_RECORDS_CONFIG = "max.poll.records"; /** 使用组管理的时候生效 如果consum...

几个概念 消费者组 多个消费实例共享一个GroupId,多个消费实例组织在一起协调消费订阅的主题和分区。 消费实例可以是一个进程也可以是一个线程 GroupId是一个字符串，唯一标识一个消费组 GroupId.consumerInstance:GroupId.partition = 1:N，也就是说同一个消费者实例和partition的对应关系是1：N offset 位移（offset）:cons...

主题和分区 kafka通过主题对消息分类。 kafka通过分区实现数据冗余和伸缩性。 一个主题包含多个分区，所以在topic内消息可能是无需的，但是在单个partition内部是有序的。 生产者和消费者 生产者创建消息，发布到一个特定的主题上，消息会均衡在所有分区上。 消费者订阅一个或者多个主题，按照生产顺序消费消息。 偏移量是一种元数据，是一个不断递增的整数值，消费者通过偏移量来区分已经消费的...

Kafka概述主题和分区生产者和消费者Producer篇生产者的配置生产者的序列化器生产者的分区Consumer篇消费者群组再均衡消费者的配置提交和偏移量反序列化器独立消费者Broker篇存储篇 概述 主题和分区 生产者和消费者 Producer篇 生产者的配置 生产者的序列化器 生产者的分区 Consumer篇 消费者群组再均衡 消费者的配置 提交和偏移量 反序列化器 独立消费者 Broker篇...