Kafka学习笔记

学习的知识点记录如下：

1.bin目录下常用的kafka工具

2.修改分区数时，只能进行增加，不能减少。

3.kafka分区保序，如果将kafka使用在这样的场景里面，后端消费者同样也要做到保序，比如多线程消费进行排序，或者单线程消费。

4.扩容方式有两种：一种扩分区，--alter；一种不改分区扩broker，通过reassign进行分区数据迁移。在分区保序的场景下，前者可能会造成数据乱序，后者场景有短暂的停服时间。

5消息生命周期设置有两种：一，根据数据时间；二，根据数据大小。如果做以上扩分区操作，可能会造成短时间内的数据偏斜。

6.消息队列语义：at least once，at most once，exactly once 也需要后端来应用配合完成。如数据库的upsert。

7.offset需要自己管理。比如消费数据写两份的场景，可以通过，消费者事物的方式进行双写，然后在commit offset。

8.生产者有同步模式和异步批量模式，是可靠性和性能的取舍。

9.同8，同步副本落盘和异步落盘，可靠性能和性能的取舍。

转载于:https://www.cnblogs.com/performancetest/p/9532862.html