一、kafka入门

一、介绍

1. 概念

• 开源的分布式事件流平台(Event Streaming Platform)
• 高性能数据管道，流分析，数据集成，关键任务应用
• 消息中间件，在大数据场景下采用kafka
• 缓存/消费，解耦，异步通信

2. 模式

2.1 点对点

• 消费者主动拉，消息收到后清除
  

2.2 发布/订阅

• 存在多个topic主题
• 消费者消费消息后，不删除数据
• 每个消费者相互独立，都可以消费数据

3. 基础架构

# 吞吐量
- 为方便拓展，提高吞吐量，一个topic分为多个partition
- 配合分区的设计，提出消费组的概念，组内每个消费者并行消费不同的分区
- 一个分区的topic，只能被一个group内的一个consumer消费，避免重复消费

# 安全性
- 保证数据的可靠性：为每个分区添加对应的副本
- 副本数据包含leader和对应的follower
- leader挂了后，follower可以上位

二、安装3.0.0

• 官网链接
• 其中的2.12和2.13，是对应的scala版本，因为kafka的broker是用scala写的