YinXin的博客

前言Kafka采用多副本机制，每个分区都有1个或多个副本，以此来实现水平扩展、提供容灾能力、提升可用性和可靠性。副本数据副本是指不同数据节点持久化同一份数据。当某节点上数据丢失可以从其他节点上获取副本数据，从而解决副本丢失问题。Kafka中每个分区有一个leader副本，其余的都是follower副本。follower副本只负责数据同步。AR：分区中所有副本统称为AR。ISR：是指与leader副本保持同步状态的副本集合。LEO：分区中最后一条消息的下一个位置。HW：高水位，ISR中最小的L

由于不清楚组协调器与消费者协调器的作用。这里记录下。消费者协调器(ConsumerCoordinator)ConsumerCoordinator 是 KafkaConsumer 的一个私有的成员变量，因此 ConsumerCoordinator 中存储的信息也只有与之对应的消费者可见，不同消费者之间是看不到彼此的 ConsumerCoordinator 中的信息的。 一个Consumer实例对应一个ConsumerCoordinator。ConsumerCoordinator 的作用：处理更新消费

前言Kafka中消息是以主题来进行分类，每个主题又有一个或者多个分区，分区数可以再主题创建时或之后增加都可以。每条消息会根据分区规则追加到指定的分区当中。分区中的每条消息都会被分配一个唯一的序列号，也就是通常所说的偏移量 (offset)。分区文件考虑多副本的情况，一个分区对应一个日志( Log)。为了防止 Log 过大，Kafka 又引入了日志分段( LogSegment)的概念，将 Log 切分为多个 LogSegment，相当于一个巨型文件被平均分配为多个相对较小的文件。事实上， Log 和 L

Kafka服务器上测试是可以通过自带的shell脚本来创建Topic让生产者与消费者之间通信的，但本机电脑无法访问，一直报无法连接错误。Kafka使用CentOS6.x1.首先要确保防火墙是否关闭了TCP的9092端口，需要开启。telnet ip port不需要查看也行，直接敲下面命令iptables -I INPUT -p tcp --dport 9092 -j ACCEPT ...

概念对kafka概念有所了解的可以直接跳过去看环境搭建。kafka基本结构消息生产者Producer、消费者Consumer、Kafka集群。kafka基本概念1.主题主题就是对消息的一个分类。生产者将消息发送到特定主题，消费者订阅这个主题或主题的某些分区进行消费。2.消息(Message/Record)消息是kafka通信基本单位，由一个固定长度的消息头和一个可变长度的消息体构...

Kafka生产者的消息对象定义：topic：主题名称partition：指定的分区号headers：消息头部，一般不用指定。key：用来指定消息的键，它不仅仅是消息附加信息，可以通过它来计算分区号来发往指定分区。topic对消息进行归类，key可以对消息进行二次归类。value：消息体。如果消息体为空，则称为墓碑消息。timestamp：时间戳，它有两种类型，CreateTime和...