qq_42885587的博客

kafka 消费者 ——总结自《kafka 权威指南》 kafka 消费者从属于消费者群组，一个群组里的消费者订阅的是同一个主题，每个消费者接收主题一部分分区的消息。如果群组里的消费者超出主题的分区数量，那么就有一部分消费者会被闲置，不会接收到任何信息。 分区的所有权从一个消费者转移到另一个消费者，这种行为成为再均衡。在再均衡期间，消费者无法读取消息，造成整个群组一小段时间的不可用。当分区被重新分...

kafka 生产者 创建一个包含目标主题和内容的 ProducerRecord 对象，可指定键或分区，发送前要把对象序列化成字符数组。 数据被传给分区器，如果指定了分区就直接把指定的分区返回。如果没有指定分区，分区器就根据 ProducerRecord 对象的键选择一个分区。紧接着这条记录就被添加到一个记录批次里，这个批次里所有的消息会被发送到相同的主题和分区上。 如果消息成功写入 kafka...

kafka 一般被称为"分布式提交日志"或者"分布式流平台"，kafka 的数据是按照一定顺序持久化保存的，可以按需读取。此外，kafka 的数据分布在整个系统里，具备数据保障保护和性能伸缩的能力。 kafka 数据单元被称为消息，为了提高效率，消息被分批次写入 kafka，批次就是一组消息。 kafka 的消息模式可以使用 json 或 xml（虽然易用，可读性好，但是它们缺乏强类型处理能力，不...

kafka broker 常规配置 ----总结自《kafka 权威指南》 broker.id：broker 的标识符，默认为 0。可设置为任意整数，这个值在 kafka 集群里必须要是唯一的。 port：设置监听端口。如果使用 1024 以下的端口，Linux 需要使用 root 权限启动才能启动 kafka。 zookeeper.connect：保存 broker...