Kafka第一篇——内部组件概念架构启动服务器zookeeper选举以及底层原理

本文链接：https://blog.youkuaiyun.com/m0_74106420/article/details/137249443

目录

引入 ——为什么分布式系统需要用第三方软件？

JMS

对比

组件

架构推演——备份实现安全可靠，

Zookeeper

controller的选举

controller和broker底层通信原理

BROKER内部组件

编辑 topic创建

引入 ——为什么分布式系统需要用第三方软件？

这里会讨论线程与线程之间的通信以及进程与进程之间的通信。

1.线程与线程之间通信，每个线程都有自己的栈空间，共享堆完全可以，通过共享内存来实现消息共享，如下图。

存在的问题：但是如果一个线程t1给堆内存发布数据比较快，接收数据的t2线程接收比较慢，就会导致每秒20条数据被积压来不及处理，积压数据就会导致内存不够用（对吞吐量造成影响，导致系统不稳定，严重情况会导致系统不可用），内存溢出，然后引入磁盘文件，虽然磁盘文件存储的数据比内存多，但也有上限。

2.进程和进程之间通过socket（网络数据流）来通信 ，两个不同的进程申请到的内存是不一样的，所以不能像线程那样去共用内存，

存在问题：第一个进程用于生产数据，第二个进程和第三个进程用来接收数据，如果进程1的数据要同时发给进程二和进程3，那进程1就要同时发送两份数据.如果是进程一发送不同的数据给进程2和进程3，就会增加进程1的逻辑处理难度，会增加系统响应的时间，消耗更多的系统资源，耦合性也高·。如果数据重复发送，也会对系统吞吐量造成影响，最根本还是系统资源不太够。这里谈到的问题也就是进程之间直接交互造成的问题，即耦合性高。

所以就引入中间缓冲区——第三方软件，又称为消息中间件，缓冲区的目的就是中转和临时存储，从而降低系统之间的耦合性。解耦合，负载均衡，削峰填谷。

JMS

kafka没有完全遵循jms思想，但是借鉴了jms思想。

JMS（Java Message Service）是Java平台上用于消息传递的API标准。它定义了一种用于创建、发送、接收和读取消息的方式，使得不同应用程序之间可以通过消息进行通信。JMS的核心思想包括以下几个方面：

消息模型：JMS定义了两种基本消息模型，即点对点模型（Point-to-Point）和发布/订阅模型（Publish/Subscribe）。点对点模型中，消息被发送到特定的队列，只有一个消费者可以接收并处理消息。发布/订阅模型中，消息被发送到主题（Topic），多个消费者可以订阅主题并接收消息。

消息生产者：负责创建并发送消息到消息中间件。消息生产者将消息发送到指定的队列或主题，并且可能会设置消息的属性、头信息等。

消息消费者：负责从消息中间件接收并处理消息。消息消费者可以根据需要从特定队列或主题中订阅消息，并在消息到达时进行处理。

消息中间件：提供消息传递的基础设施，负责存储、路由和传递消息。消息中间件通常是一个独立的服务器，它提供了可靠的消息传递机制，以及高效的消息路由和处理能力。暂时存储和中转。

Kafka借鉴了JMS的一些思想，比如消息模型中的发布/订阅模型，以及消息的生产者和消费者模式。但Kafka与JMS也有一些不同之处，比如Kafka更加注重持久化和水平扩展等方面的设计。因此，虽然Kafka没有完全遵循JMS的思想，但在某些方面受到了JMS的启发和借鉴。