zidongxiangxi的博客

背景Kafka2.8 之后，移除了Zookeeper，而使用了自己研发的Kafka Raft。为什么移除Zookeeper？原来Zookeeper在Kafka中承担了Controller选举、Broker注册、TopicPartition注册和选举、Consumer/Producer元数据管理和负载均衡等。即承担了各种元数据的保存和各种选举。而Zookeeper并“不快”，集群规模大了之后，很容易成为集群的性能瓶颈。Kafka作为一个消息中间件，还依赖额外的一个协调系统，而不能实现自

背景Kafka2.8 之后，移除了Zookeeper，而使用了自己研发的Kafka Raft。为什么移除Zookeeper？原来Zookeeper在Kafka中承担了Controller选举、Broker注册、TopicPartition注册和选举、Consumer/Producer元数据管理和负载均衡等。即承担了各种元数据的保存和各种选举。而Zookeeper并“不快”，集群规模大了之后，很容易成为集群的性能瓶颈。Kafka作为一个消息中间件，还依赖额外的一个协调系统，而不能实现自

基本概念Kafka主要扮演三大角色：消息系统：Kafka和传统的消息中间件一样，具备解耦、冗余存储、流量削峰、缓冲、异步通信、拓展性、可恢复性等功能。Kafka还提供了独特的消息顺序性回消息回溯功能。 存储系统：Kafka把消息持久化到磁盘，相对其他基于内存的系统而言，丢失数据的风险更低。 流式处理平台：Kafka提供了一个完整的流失处理类库，比如窗口、连接、变换和聚合等各类操作。结构一个典型的Kafka体系结构包括Producer、Broker、Consumer和Zookeep.

目的大家说到kafka，肯定就会想到“快”和“高吞吐量”，特别是吞吐量这一点，好像目标就没有超越kafka的。本文就是解释了kafka怎么做到“快”和“高吞吐量”。生产者...