kafka的消息发送的三种模式

最新推荐文章于 2025-06-11 15:34:19 发布
原创 最新推荐文章于 2025-06-11 15:34:19 发布 · 8.6k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文深入探讨了三种不同的消息处理模式：Atmostonce、Atleastonce与Exactlyonce，详细阐述了每种模式的工作原理、风险及应用场景。

1. At most once模式    消费者读取消息，更新消息的offset，然后处理消息。这种方式的风险是在更新消息的offset之后，处理消息结果的输出之前消费者挂掉，消费者再启动的时候，从新的offset开始消费消息，导致处理消息丢失

2. At least once模式   消费者读取消息，处理消息并输出，更新消息的offset。这种方式的风险是在处理消息的结果输出之后，更新消息的offset之前消费者挂掉，消费者再启动的时候，会重复消费消息


3. Exactly once模式  消费者读取消息，处理消息并输出，同时更新消息的offset。通过将消息的offset和消费者的输出结果放到一起，来保证同时更新消息的offset和消息的处理结果输出，在这种方式下，消息的offset保存在consumer.












【kafka专栏】消息队列通用消息传递模型(带视频)
字母哥博客
04-25 2933
两种消费模型及消费者组模式讲解：Point-to-Point(P2P)，一条消息由一个消费者消费；Publish/Subscribe(Pub/Sub)，一条消息被多个消费者消费。
【大数据】Kafka高频面试题（四）_kafka消息发送的几种模式
2401_84170391的博客
04-28 867
**01使用内存方面分析1）**Broker端：**有很多组件都在内存中维护了分区级别的缓存，比如 Controller，FetcherManager 等，因此分区数越多，这类缓存的成本就越大。 2）**Producer端：**比如参数 batch.size，默认是16KB。它会为每个分区缓存消息，在数据积累到一定大小或者足够的时间时，累积的消息将会从缓存中移除并发往Broker 节点。这个功能是为了提高性能而设计，但是随着分区数增多，这部分缓存所需的内存占用也会更多。 3）**Consumer端：**消费
kafka消息发送模式
代灿灿灿的博客
01-24 4436
在kafka-0.8.2之后，producer不再区分同步(sync)和异步方式(async)，所有的请求以异步方式发送，这样提升了客户端效率。producer请求会返回一个应答对象，包括偏移量或者错误信。这种异步方地批量的发送消息到kafka broker节点，因而可以减少server端资源的开销。新的producer和所有的服务器网络通信都是异步地，在ack=-1模式下需要等待所有的repli...
kafka（四）消息类型
w_t_y_y的博客
06-22 833
回调函数会在 producer 收到 ack 时调用，为异步调用，该方法有两个参数，分别是 RecordMetadata 和 Exception，如果 Exception 为 null，说明消息发送成功，如果 Exception 不为 null，说明消息发送失败。同步发送的意思就是，一条消息发送之后，会阻塞当前线程，直至返回 ack。由于 send 方法返回的是一个 Future 对象，根据 Futrue 对象的特点，我们也可以实现同 步发送的效果，只需在调用 Future 对象的 get 方发即可。
【kafka】消息模型与工作原理详解
最新发布
m0_74749240的博客
06-11 1061
Kafka 是由 Apache 软件基金会开发的一个开源流处理平台，最初由 LinkedIn 公司开发，并于 2011 年开源。它以高吞吐量、可扩展性、持久性和容错性著称，被广泛应用于日志收集、消息系统、用户活动跟踪、运营指标监控、流式处理等场景。Kafka 能够处理海量数据，并使数据能够被多个消费者同时读取，在大数据生态系统中占据着重要地位。
Kafka之消息发布三种模式
逸雅安然
07-08 2249
创建生产者实例和构建消息之后，就可以开始发送消息了。发送消息主要有三种模式：发后即忘（fire-and-forget）、同步（sync）及异步（async）。 发后即忘（fire-and-forget）：发后即忘，它只管往Kafka中发送消息而并不关心消息是否正确到达。在大多数情况下，这种发送方式没有什么问题，不过在某些时候（比如发生不可重试异常时）会造成消息的丢失。这种发送方式的性能最高，可靠性也最差。 同步（sync），同步实际上send（）方法本身就是异步的，send（）方法返回的Future对象可
kafka消息队列的两种模式
weixin_44569326的博客
05-07 1164
kafka中的主题始终是多生产者和多订阅者：一个主题可以N个向其写入事件的生产者，以及订阅这些事件的N个消费者。主题中的事件可以根据需要随时读取雨传统的消息传递系统不同，事件被消费后不会被删除，相反，您可以通过每个主题的配置设置来定义kafka应该将你的事件保存多久，之后老的事件被丢弃。2.消息被消费以后，queue中不再有存储，所有消息消费者不可能消费到已经被消费的消息。3.队列支持多个消费者，但对一个消息而言，只有一个消费者可以消费。2.同时有多个消息消费者订阅消费该消息，消费数据后不会被删除。
Kafka 之批量消息发送消费
weixin_42118323的博客
10-31 3882
前面我们分享了 Kafka 的一些基础知识，以及 Spring Boot 集成 Kafka 完成消息发送消费，本篇我们来分享一下 Kafka 的批量消息发送消费。
Kafka消息发送模式
Mono的博客
01-25 1890
kafka有同步（sync）、异步（async）以及oneway这三种发送方式，某些概念上区分也可以分为同步和异步两种，同步和异步的发送方式通过“producer.type”参数指定，而oneway由“request.require.acks”参数指定。 1. sync vs async 在官方文档Producer Configs中有如下： Property Default Description producer.type sync This parameter sp
【大数据】Kafka高频面试题（四）_kafka消息发送的几种模式(1)
2401_84170391的博客
04-28 969
1）**场景1：**如果业务只是关心消息的吞吐量，且允许少量消息发送失败，也不关注消息的发送顺序的话，那么可以使用发后即忘发送「fire-and-forget」的方式，配合参数 acks = 0，这样生产者并不需要等待服务器的响应，以网络能支持的最大速度发送消息。 2）场景2：如果业务要求消息必须是按顺序发送的话，且数据只能落在一个 Partition 上，那么可以使用同步发送「sync」的方式，并结合参数来设置 retries 的值让消息发送失败时可以进行多次重试「retries > 0」，再结合参数设置
Kafka生产者发送消息的三种方式
GoodIdea
03-19 4030
Kafka是一种分布式的基于发布/订阅的消息系统，它的高吞吐量、灵活的offset是其它消息系统所没有的。 Kafka发送消息主要有三种方式： 1.发送并忘记 2.同步发送 3.异步发送+回调函数 下面以单节点的方式分别用三种方法发送1w条消息测试： 方式一：发送并忘记(不关心消息是否正常到达，对返回结果不做任何判断处理) 发送并忘记的方式本质上也是一种异步的方式，只是它不会获取消...
kafka消息队列样例
09-07
kafka消息队列消费者生产者读写样例。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。
Kafka 可靠的消息传递（五）
qq_34125999的博客
08-17 1626
1、Broker配置 1.1、复制系数 主题级别的配置参数是replication.factor，而在b roker 级别则可以通过default. replication.factor来配置自动创建的主题。 如果复制系数为N，那么在N-1个broker 失效的情况下，仍然能够从主题读取数据或向主题写入数据。所以，更高的复制系数会带来更高的可用性、可靠性和更少的故障。另一方面，复制系数N 需要至少...
kafka消息队列最常用的两种模式，以及应用场景
杨荧的优快云博客
07-17 4373
本文讲解了kafka消息队列最常用的两种模式，以及应用场景。
kafka消息采用模式
LZX的博客
03-25 522
Kafka最初考虑的问题是，customer应该从brokes拉取消息还是brokers将消息推送到consumer，也就是pull还push。在这方面，Kafka遵循了一种大部分消息系统共同的传统的设计：producer将消息推送到broker，consumer从broker拉取消息。 一些消息系统比如Scribe和ApacheFlume采用了push模式，将消息推送到下游的consumer。这...
Kafka发送数据的三种模式
DarkBar的博客
05-15 3877
在kafka-0.8.2之后，producer不再区分同步(sync)和异步方式(async)，所有的请求以异步方式发送，这样提升了客户端效率。本文分享自华为云社区《kafka消息发送模式》，作者：dayu_dls。在kafka-0.8.2之后，producer不再区分同步(sync)和异步方式(async)，所有的请求以异步方式发送，这样提升了客户端效率。producer请求会返回一个应答对象，包括偏移量或者错误信。
【Kafka从入门到放弃系列 四】Kafka架构深入——生产者策略
MaoLin Tian's Blog
09-06 971
分区策略 分区的原因 分区的原则 数据可靠性保证 副本同步策略 ISR选举策略 ACK应答机制 HW&LEO故障处理机制 Exactly Once语义
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值