下载地址:https://mirrors.cnnic.cn/apache/kafka
一、系统构成
在整个消息发布流程中,kafka作为一个中间件对系统的运行提供了解耦、削峰、异步处理的能力。
由生产者发起信息同步条件,中间件作为信息转储的角色对news进行发布。消费者会通过offset来保证接收最新的消息
主要由生产者、消费者、中间件构成。中间件由
producer |
生产者 |
|
broker |
kafka实现实例 |
其可实现主要功能部分 |
topic |
每个kafka实例内部的消息类型 |
每个实例内部可存在多个topic |
partition |
消息类型分组,每组的数据不同。 |
每个topic内存在多个partition |
message |
每条发送的消息主体 |
|
consumer |
消费者 |
|
consumer_group |
消费者组 |
组形式的消费者,一个可以获取多个信息 |
zookeeper |
保存集群内部信息,保证系统可用性 |
配置文件,系统启动 |