kafka笔记NO.1 基础组件说明_哪个是每个分区消息的唯一序列标识-优快云博客

本文链接：https://blog.youkuaiyun.com/qzqanzc/article/details/79699865

本文介绍了Kafka的基础组件及其功能，包括主题、分区、偏移量、副本、代理、集群、生产者、消费者、领导者及追随者等。通过了解这些概念，读者可以更好地掌握Kafka的工作原理。

                    
                        
                    
                    基础组建和说明

S.No组件和说明
1Topics(主题) 属于特定类别的消息流称为主题。数据存储在主题中。主题被拆分为分区。对于每个主题，kafka保存一个分区的。这样每个分区包含不可变有序序列的消息。分区被实现为具有相同大小的一个组分段文件。
2Partition(分区)主题可能有许多分区，因此它可以处理任意数量的数据。
3Partition offset(分区偏移) 每个分区消息具有成为“offset”的唯一序列标识。
4Replicas of partition(分区备份)副本只是一个分区的“备份”。副本从不读取或写入数据。它们用于防止数据丢失。
5Brokers(经纪人)  .代理是负责维护发布数据的简单系统。每个代理可以维护每个主题的具有领个或多个分区。假设，如果一个主题和N个代理中有N个分区，每个代理将有一个分区。     .假设在一个主题中有N个分区并且多余N个代理（n+m）,则第一个N代理将有一个分区，并且下一个M代理将该特定主题的任何分区。     .假设在一个主题中有N个分区并且小于N个代理（n-m）,每个代理将在它们之间具有一个或多个分区共享。由于代理之间的负载均衡分布不相等，不推荐使用此方案。
6Kafka Cluster(Kafka集群)  kafka有多个代理称为Kafka集群。可以通过扩展集群，无需停机。这些集群用于管理消息数据的持久性和复制。
7producers (生产者)生产者是发送给一个或者多个Kafka主题的发布者。生产者向Kafka经纪人发送数据。每当生产者将数据发布给代理时。只需要将消息附加到最后一个段文件。实际上，该消息将被附加到分区。生产者还可以向他们选择的分区发送消息。
8Consumers(消费者) Consumers从经纪人处读取数据。消费者订阅一个或者多个主题，并通过从代理中提取数据来使用已发布的消息。
9Leader(领导者) “Leader” 是负责给定分区的所有读取和写入的节点。每个分区都有一个服务器充当Leader。
10Follower(追随者) 跟随领导者指令的节点被称为Follower。如果领导失败，一个追随者自动称为新的领导者。跟随者作为正常消费者，拉去消息并更新自己的数据存储。

                

S.No	组件和说明
1	Topics(主题) 属于特定类别的消息流称为主题。数据存储在主题中。主题被拆分为分区。对于每个主题，kafka保存一个分区的。这样每个分区包含不可变有序序列的消息。分区被实现为具有相同大小的一个组分段文件。
2	Partition(分区)主题可能有许多分区，因此它可以处理任意数量的数据。
3	Partition offset(分区偏移) 每个分区消息具有成为“offset”的唯一序列标识。
4	Replicas of partition(分区备份)副本只是一个分区的“备份”。副本从不读取或写入数据。它们用于防止数据丢失。
5	Brokers(经纪人) .代理是负责维护发布数据的简单系统。每个代理可以维护每个主题的具有领个或多个分区。假设，如果一个主题和N个代理中有N个分区，每个代理将有一个分区。 .假设在一个主题中有N个分区并且多余N个代理（n+m）,则第一个N代理将有一个分区，并且下一个M代理将该特定主题的任何分区。 .假设在一个主题中有N个分区并且小于N个代理（n-m）,每个代理将在它们之间具有一个或多个分区共享。由于代理之间的负载均衡分布不相等，不推荐使用此方案。
6	Kafka Cluster(Kafka集群) kafka有多个代理称为Kafka集群。可以通过扩展集群，无需停机。这些集群用于管理消息数据的持久性和复制。
7	producers (生产者)生产者是发送给一个或者多个Kafka主题的发布者。生产者向Kafka经纪人发送数据。每当生产者将数据发布给代理时。只需要将消息附加到最后一个段文件。实际上，该消息将被附加到分区。生产者还可以向他们选择的分区发送消息。
8	Consumers(消费者) Consumers从经纪人处读取数据。消费者订阅一个或者多个主题，并通过从代理中提取数据来使用已发布的消息。
9	Leader(领导者) “Leader” 是负责给定分区的所有读取和写入的节点。每个分区都有一个服务器充当Leader。
10	Follower(追随者) 跟随领导者指令的节点被称为Follower。如果领导失败，一个追随者自动称为新的领导者。跟随者作为正常消费者，拉去消息并更新自己的数据存储。