Kafka学习笔记 --- Kafka消息的三种语义

最新推荐文章于 2022-05-17 10:53:07 发布

杨鑫newlfe

最新推荐文章于 2022-05-17 10:53:07 发布

阅读量1.2k

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据挖掘与大数据应用案例文章标签： Kafka 消息队列实时数据处理

本文链接：https://blog.youkuaiyun.com/u012965373/article/details/97822475

536 篇文章 ¥9.90 ¥99.00

订阅专栏

本文探讨了在Kafka分布式系统中，producer面对broker宕机或网络问题时的处理策略，包括消息提交的三种不同语义，详细解析了如何确保数据的可靠性和一致性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在分布式系统中，构成系统的任何节点都是被定义为可以彼此独立失败的。比如在Kafka中，broker可能会宕机，在Producer推送数据至Topic的过程中也可能会遇到网络问题。

根据producer处理此类故障所采取的提交策略类型有以下三种：

语义类别	原理	备注
At-most-once	至多一次，可能导致消息丢失，如果Producer收到来自kafka broker的确认（ack）或者acks=all，则表示该消息已经写入了kafka。但如果producer ack超时或收到错误，则可能会重新发送消息，客户端会认为该消息未写入Kafka。如果Broker在发送Ack之前失败，但在消息成功写入Kafka之后，此重试将导致该消息被写入两次，因此消息会被不止一次地传递给最终consumer，这种策略可能导致重复的工作和不正确的结果。
At-least-once	至少一次，可能导致消息重复，如果在ack超时或返回错误时producer不重试，则该消息可能最终不会写入kafka，因此不会传递给consumer。在大多数情况下，