Kafka——简介与架构

最新推荐文章于 2024-07-10 22:19:12 发布

积微成著

最新推荐文章于 2024-07-10 22:19:12 发布

阅读量454

点赞数 1

分类专栏： Kafka 文章标签： kafka

本文链接：https://blog.youkuaiyun.com/duxu24/article/details/105211537

版权

10 篇文章

订阅专栏

什么是Kafka：

最初由Linkedin公司开发，由scala编写，其诞生是为了解决Linkedin的数据管道问题——由于各种缺陷而导致消息阻塞或者服务无法正常访问；
分布式消息队列。Kafka对消息保存时根据topic进行归类，发送消息者称为producer，消息接受者称为consumer，Kafka集群由多个Kafka实例组成，每个实例（server）称为broker；
无论是Kafka集群，还是consumer都依赖于Zookeeper集群保存一些meta信息，来保证系统可用性。

Kafka主要设计目标：

Kafka属于发布-订阅模式。消息传递方式：

producer：消息生产者，向消息系统发送消息的客户端；
consumer：消息消费者，从消息系统读取消息的客户端；
topic：主题。是一个逻辑概念。其作用类似于关系型数据库的表；
partition：分区。为了实现扩展性，一个非常大的topic可以分布到多个broker上，一个topic分为多个partition（分布在不同的服务器上，具体在.log文件里），序号从0开始，每个partition是一个有序队列。partition中每条消息都会被分配一个有序的ID（offset）。Kafka只保证一个partition中的消息的有序性，不保证一个topic的多个partition间的顺序；
offset：偏移量。partition中的每个消息都有一个连续的序号，用于partition唯一标识一条消息；

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-jTHFwa3N-1585580770818)(C:\Users\86134\Pictures\Saved Pictures\log_anatomy.png)]$

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-f7z80CdO-1585580770820)(C:\Users\86134\Pictures\Saved Pictures\consumer-group.png)]$

controller：Kafka是主从式的架构，主节点就叫controller，其余的为从节点，controller是需要和zookeeper进行配合管理整个kafka集群。

Kafka详细架构图：

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-TGo5UgJ7-1585580770821)(C:\Users\86134\Pictures\Saved Pictures\kafka架构.png)]$

一个典型的Kafka集群包含若干个producer、broker、consumer（group）以及一个zookeeper；
Kafka通过zookeeper管理集群配置，选举leader，以及在consumer group发生变化时进行rebalance；
a通过zookeeper管理集群配置，选举leader，以及在consumer group发生变化时进行rebalance；
producer使用push模式将消息发布到broker，consumer使用pull模式从broker订阅并消费消息。