腊八粥

kafka配置很多，分Broker配置、Topic配置、producer配置、consumer配置、Connect配置、AdminClient配置。详细内容见kafka中文官网。其中，很多配置并不需要修改，除非有需要使用默认值更好。1.Broker配置核心基础配置broker.id 用于服务的broker id。如果没设置，将生存一个唯一broker id。 log....

1.消费者组概念一个消费者属于消费者组。一个群组里的消费者订阅的是同一个主题，每个消费者接收主题的一部分分区消息。一个主题可以被多个消费群组使用，消费者群组之间互不影响。假设一个Topic有四个分区，有两个消费者组，分配情况如下：注意：不要让一个consumer group的消费者数量多于订阅主题的分区数，多于的消费者只会被闲置。2.创建消费者消费者正常的消费逻辑，如下：...

1.生产者组件生产者，发送消息到broker，流程图如下：流程大概如下：1.创建ProducerRecord对象，对象内指定目标主题和发送内容，同时还可以指定键和要发送到的分区。2.创建定制的序列化器或使用现有的序列化器，Kafka支持的序列化协议有JSON、Protobuf、arvo等，其中arvo是Kafka本身支持的定制化协议格式。3.对象通过序列化器序列化后，会被发...

Kafka依赖ZooKeeper，使用ZooKeeper保存集群中broker、主题、分区的元数据信息和消费者信息，随着版本的更新（0.9.0.0），这种依赖性正在逐步减轻。老版本的Kafka，消费者的群组信息、主题信息、消费分区的偏移量等等也是存储在ZooKeeper，新版本Controller的加入允许broker直接维护这些信息，减少了broker和Zookeeper的联系，提高了系统的健...

在Kafka集群中会有一个或者多个broker，其中有一个broker会被选举为控制器（Kafka Controller），它负责管理整个集群中所有分区和副本的状态。当某个分区的leader副本出现故障时，由控制器负责为该分区选举新的leader副本。当检测到某个分区的ISR集合发生变化时，由控制器负责通知所有broker更新其元数据信息。当使用kafka-topics.sh脚本为某个topic增...

对消息中间件而言，一般有两种消息投递模式：p2p 点对点模式和 Pub/Sub发布/订阅模式，Kafka属于后者。1.什么是Kafka？Kafka作为消息系统，是基于发布-订阅模型的消息系统； Kafka 作为存储系统，能够存储和持续处理大型数据流； Kafka用做流处理，实时数据流平台；2.总体架构3.基本概念3.1生产者Producer生产者可以将数...

1.问题用kafka的时候，出现这么个异常：org.apache.kafka.common.config.ConfigExecption:Invalid value 1 for Configuration acks :Execpted value to be string, but it was ajava.lang.Integer2.思考错误，提示比较明显：1.配置文件出...

为了本地测试，又不得不在windows环境下，搭建kafka伪分布式集群，记录一下过程注意：以下所有目录，都不要出现空格！！！伪分布式集群节点个数配置：zookeeper 和 kafka 分别3个节点1.前期准备JDK 1.8 安装并测试; zookeeper，下载地址：https://zookeeper.apache.org/releases.html; kaf...

在windows下，使用idea 阅读kafka2.x源代码1.前提必读 kafka ReadMehttps://github.com/apache/kafka/blob/trunk/README.mdApache KafkaSee ourweb sitefor details on the project.You need to haveGradleandJ...

到目前为止，用过kafka1.1.0——>2.0.0——>2.1.0等多个版本，作为流数据管道或者消息队列，kafka确实性能强大。之前使用过程中，也遇到很多问题，但是没有总结，很快就会淡忘，因此觉得有必要对kafka做一个学习汇总。基本原理Kafka基本原理（一）windows环境下kafka伪分布式集群环境搭建 Kafka基本原理（二）Kafka简述 Kaf...