kafka学习-00

kafka特点

1、解耦 生产和消费两端不必直连，中间缓存
2、缓冲 DMQ消峰 解决生产大于消费的问题

kafka场景

1、大量数据统计显示
2、运营监控

概念

topic 相当于数据库内的表，某个topic下有多个分区，用于分别消费
zookeeper
HW[high watermark] 标识特定的offset，消费者只能拉去到offset之前的消息。

消息队列的模型

1、点对点 1v1 【消费者主动拉取】
2、发布订阅模式 【生产者主动发送 】

zookeeper作用

1、存储kafka集群的信息
2、帮助消费者 存储消费队列的位置信息

kafka消息

1、 消费存储在kafka集群磁盘内 默认存储7天

生产消费调优

1、同一个主题 分区数等于同消费者组内消费者的个数