Kafka流处理平台

什么是Kafka

	kafka在未进入Apache的时候，是LinkedIn开源。LinkedIn是非常出名的一个开源平台，它为我们带来了非常多的开源产品：分布式数据同步框架Databus 、高性能计算引擎Cubert、 Java异步处理框架 ParSeq等。
	kafka官方是这么解释的：
	![3个特性](https://img-blog.csdnimg.cn/20190726213724566.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ0OTI2NjU=,size_16,color_FFFFFF,t_70)
	1、消息队列  2、数据流处理平台（可以容错） 3、数据产生时处理
	![在这里插入图片描述](https://img-blog.csdnimg.cn/201907262139573.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ0OTI2NjU=,size_16,color_FFFFFF,t_70)
	这个就不翻译了，太难，就是数据流处理。

Kafka基本概念

Kafka基本结构

官方图片结构：

Kafka是强依赖Zookeeper的：
1、Broker信息保存在zk
2、Topic partition信息保存在zk 等

消息结构：

Kafka特点

1、多分区 多个Partition
2、多副本（有一个Leader负责读写） 提供容错性扩展性
3、多个订阅者，订阅者数量小于等于Partition
4、基于Zookeeper调度 zk特性

5、高性能 ，高并发
6、低延迟
7、时间复杂度O（1）

8、数据可持久化
9、容错性
10 、水平扩展
11、消息自动平衡

Kafka应用场景

1、消息队列
2、行为监控
3、日志处理
4、流处理
。。。

Kafka简单应用

这一章节简单介绍一下Kafka基本概念，下一节做一个简单的demo，谢谢观看