本文介绍了Kafka中Producer和Consumer的消息传输保证，包括At most once、At least once和Exactly once三种情况。Producer通过request.required.acks参数调整消息确认级别，Consumer则根据commit策略影响消息处理的语义。Kafka默认提供At least once保证，但通过特定策略可逼近Exactly once。
Producer 根据指定的 partition 方法(默认round-robin、hash等)，将消息发布到指定 topic 的 partition 里面；kafka 集群接收到Producer 发过来的消息后，将其持久化到硬盘，并保留消息指定时长(可配置)，而不关注消息是否被消费；Consumer 从 Kafka集群 pull 数据，并控制获取消息的 offset。
下面讨论以下 Kafka 如何确保消息在 producer和 consumer之间的传输。producer 与 consumer 有可能的 delivery guarantee：
- At most once 消息可能会丢，但绝不会重复传输
- At least one 消息绝不会丢，但可能会重复传输
- Exactly once 每条消息肯定会被传输一次且仅传输一次，很多时候这是用户所想要的
Producer
producer 的 deliver guarantee 可以通过 request.required.acks 参数的设置来进行调整：
- 0 ，相当于异步发送，消息发送完毕即offset增加，继续生产；相当于 At most once;
- 1，leader 收到 leader replica 对一个消息的接受 ack 才增加 offset，然后继续生产;
- -1，leader 收到所有 replica 对一个消息的接受 ack 才增加 offset，然后继续生产;
当 producer 向 broker 发送消息时，一旦这条消息被 commit，因数 replication 的存在，它就不会丢。但是如果 producer 发送数据给 broker 后，遇到的网络问题而造成通
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
