【Kafka】消息的顺序性、可靠性、幂等性

消息顺序性

消息追加到partition尾部，单个partition是有序的，但多个partition如何进行有序的获取一些消息？

解决方案

• 一个topic只设置一个partition（违背设计原则）
• 发送消息时，指定topic、partition、key，保证消息只发送到一个partition

消息可靠性

生产者丢失消息

原因：发送消息默认发送成功

解决方案

• 使用get获取发送消息的结果，缺点是变成了同步操作
• 添加回调函数，如果发送失败，查看原因后重试

Kafka默认进行10次重发操作，间隔时间为0

消费者丢失消息

问题：提交offset和消费消息没有原子性

解决方案

• 拉取到消息后，自动提交offset，如果消费者挂掉，那么就会少消费（消息并没有被消费，但offset提交了）
• 选择手动提交offset，但会出现消费完后，提交offset前